另外,司马光在政治上的理解也要比王安石深刻得多。在王安石刚刚推出新政的时候,他就已经感觉到了新法的不妥,但是问题具体出现在哪里,他也无法准确地指出来,只能根据变法造成的一些恶果进行推理。随后,他便与王安石在宋神宗面前展开了一系列的争辩,但由于缺乏现代经济理论,对新法中的一些错漏之处无法作出有力辩驳。结果,宋神宗则误会他是在无理取闹。无奈之下,司马光不得不远离政治中心,出走洛阳,潜心编纂《资治通鉴》。
司马光在与王安石的争斗中,在未能得胜时,选择了回避和退让,而不是伺机报复和恶意中伤。虽然也曾有人劝司马光弹劾王安石,却被司马光一口回绝了,并对那人呵斥道:“王安石他也是一心为国,并不是为了一己私利,我为什么要弹劾他呢?”由此也可看出其耿直、忠诚的一面。
像司马光这样的人为官,除了仇敌和别有用心的小人,他都会对其敬之爱之,而这也是他受万民敬仰的原因之一。如在宋神宗元丰八年(1084年),他在《资治通鉴》成书之后,被召回京城任职。当他来到京城之后,百姓夹道欢迎,都将他视为宰相的最佳人选。而在司马光死时,京城中的百姓仿若自家的亲人去世了一般,纷纷前去吊唁,哭着送丧的百姓更是成千上万,由此亦可见其在民众心中的地位。