不过，遗憾的是，尽管王安石政治智商非常高，但是性格却存在着很大的缺陷，性格的缺陷造成情商低下，与其他同僚自然产生很大的矛盾，而他一根筋的性格更加加剧了这种矛盾。

首先，从生活上来看，王安石是一位十分邋遢的人。叶梦得《石林燕语》卷十记载：“王荆公性不善缘饰，经岁不洗沐，衣服虽敝，亦不浣濯。与吴仲卿同为群牧判官，时韩持国在馆中，三数人尤厚善，无日不过从，因相约每一两月，即相率洗沐定力院，家各出新衣为荆公番，号拆洗王介甫云。(公)出浴，见新衣，辄服之，亦不问所从来也。”

我们现在看这段文字，实在有点瞠目结舌，当朝宰相，不修边幅，长年不洗澡。朋友们都看不下去了，带他去休闲中心，结果他洗完后，穿上新袍子就走，也不管是不是自己的袍子。

还有记载，说王安石这个人吃菜只吃眼前的，眼前放什么菜，就吃什么菜，离他稍微远一点的菜，他根本不看，一筷子也不会动。这样的人，也懒得可以，文明一点，就是过于不拘小节了。

还有一个更经典的案例。说的是有一次皇帝赐宴，请大臣们钓鱼，然后钓上来的鱼大家各自烹调，看谁钓的鱼多，烧的好吃。王安石不喜欢钓鱼，大概钓鱼的技术也很臭，他老人家居然坐在那里，把一碟子用面粉做成的鱼饵，一粒一粒地扔在嘴里，吃了个精光。

正是因为这种怪异的性格，所以很多同僚看不惯王安石。苏东坡的老爹苏洵在他那篇著名的《辨奸论》中，就说王安石“衣臣虏之衣，食犬惫之食。”说他穿着破衣烂衫，吃着猪狗之食。绝对是一个大奸加大愚的老妖怪。被他害得不轻的苏东坡也曾经对他发出“此老乃野狐精也”的感叹。

可能由于这些种种原因，加上王安石是一个绝对听不得任何反对意见的人，所以在政治上往往是一根筋的走下去，有时候连信任他的皇帝的话他也听不进去，最终变法肯定能会失败。其实，现在看来苏东坡这些人虽是保守派，但对王安石的变法，还是有认可的地方。倒是从小砸破缸的司马光上台后，全盘否定王安石的变法，走向了另外一个极端。

变法使朝廷垄断了商品贸易，不仅是官僚、大地主、还有小商人的利益均遭侵犯，社会原有秩序遭到破坏，遭到保守派的激烈反对。加上在实施过程中过分求大求快，许多官吏借机敲诈盘剥，使农民的利益受到损害，而上书直谏变法危害的贤良才能大臣均遭王安石罢黜或贬官或流放，导致税吏越发恣意妄为、胆大包天，此种情况愈演愈烈，实际效果与主观设想相差甚远。

最终，王安石处于“众疑群谤”之中，宋神宗迫于皇亲贵戚和反对新法大臣的压力，于1074年四月罢去王安石相位，再任江宁知府。次年虽又起用为相，但因新法派内部分裂及保守派的挑拨离间，王安石实际上难有作为，至熙宁九年十月再次罢相，出任江南签判，次年隐退江宁，一个人孤孤单单回到家乡聊度残生。