王安石为人执拗，铁面无情，人送外号“拗相公”，这让他在变法上屡遇挫折。他所推行的新法明显损害了某些贵族、官僚、大地主以及大商人的利益，因而受到了这些人的强烈反对。就连颇有声望的司马光也不敢苟同于他，这两个原本关系密切的朋友为此还闹翻了。后来有一些王公贵族到宋神宗的祖母曹太皇太后以及母亲高太后那里说新法的坏话，这些言论听多了，两位太后也对王安石有意见了，便去给宋神宗施压，准备阻止变法。如此一来，王安石的变法之路便变得举步维艰。

然而，倔强的王安石却并未因此退却。他向宋神宗提出了“天变不足畏，祖宗不足法，人言不足恤”的“三不足”思想，以此表明自己变法的决心。可是宋神宗没有王安石那么倔强，面对那些反对舆论，宋神宗的心慢慢动摇了。尤其是公元1074年，河北遭遇旱灾，连续几月无雨，导致百姓流离失所。一些反对变法的官员便乘机散布谣言，指责变法引来天谴，导致现在灾民遍野。曹太皇太后和高太后也在宋神宗处倾倒苦水，宋神宗为了这事每日都愁闷不已，不知该怎么办才好。王安石看到这样的情况，心中郁闷，便辞了官，回江宁府中休养。