另外，司马光在政治上的理解也要比王安石深刻得多。在王安石刚刚推出新政的时候，他就已经感觉到了新法的不妥，但是问题具体出现在哪里，他也无法准确地指出来，只能根据变法造成的一些恶果进行推理。随后，他便与王安石在宋神宗面前展开了一系列的争辩，但由于缺乏现代经济理论，对新法中的一些错漏之处无法作出有力辩驳。结果，宋神宗则误会他是在无理取闹。无奈之下，司马光不得不远离政治中心，出走洛阳，潜心编纂《资治通鉴》。
司马光在与王安石的争斗中，在未能得胜时，选择了回避和退让，而不是伺机报复和恶意中伤。虽然也曾有人劝司马光弹劾王安石，却被司马光一口回绝了，并对那人呵斥道：“王安石他也是一心为国，并不是为了一己私利，我为什么要弹劾他呢？”由此也可看出其耿直、忠诚的一面。
像司马光这样的人为官，除了仇敌和别有用心的小人，他都会对其敬之爱之，而这也是他受万民敬仰的原因之一。如在宋神宗元丰八年（1084年），他在《资治通鉴》成书之后，被召回京城任职。当他来到京城之后，百姓夹道欢迎，都将他视为宰相的最佳人选。而在司马光死时，京城中的百姓仿若自家的亲人去世了一般，纷纷前去吊唁，哭着送丧的百姓更是成千上万，由此亦可见其在民众心中的地位。