所有制度中朱元璋最不喜欢的就是中书省，因而针对它的改革也是最早的，有多早呢？早到明朝才建立，朱元璋还在照抄元朝制度的时候，朱元璋就向下面官员表示中书省这一项咱们能不能别全抄。
前面说了元朝时期，中书省除了左右丞相以外，还有一个最高长官是中书令，并且通常由皇太子来担任，可谓是天字第一号官员。在明朝建立之初，刘基等人也曾上书朱元璋询问中书省是否要继续设立中书令，并由皇太子担任。但是，国家的储君担任国家的最高官职想想就太刺激了，朱元璋直接否定了这一提议，于是明朝中书省的最高长官就是丞相，并且和元朝一样是左右两位丞相，从而实现丞相之间的互相牵制。从实际来看，这种丞相之间的互相牵制是有很大的灵活性，所谓的牵制完全是看左右丞相个人，如果其中一位丞相过于强势或者能力突出，那么这种牵制根本发挥不了作用，不然元朝也不至于会出现那么多“权相”。折腾了一圈虽然把中书省的最高长官给废除了，但是中书省的权力还是十分大，中书令本来也不常设，所以废除这一职务更多是形式上的，因此朱元璋要想削弱中书省的权力还得接着发功。
在当时朝廷所有的奏章都要先交由中书省处理，中书省整理之后再汇总给皇帝，实际上上交给皇帝之前，中书省的官员就已经提出了处理对策，一般情况下皇帝盖个章就行了，这显然太不集权了，因而朱元璋于洪武十年（公元1377年）正式设立通政司（全称为“通政使司”），这个机构的主要职责是“出纳帝命，通达下情，关防诸司出入公文，奏报四方章奏，实封建言，陈情申诉及军情声息、灾异等事”，看起来很多，实际上就一条，那就是越过中书省直接将所有奏章呈给皇帝。概括来讲，通政司总的职责是“受内外章疏敷奏封驳之事”。同时，这一机构的设立便侵夺了中书省原有的“关白”之权（“关白”一词出自《汉书·霍光金日磾传》中的“诸事皆先关白光，然后奏天子”，指上级所拥有的下级必须向其汇报各项事务的权力）但是做到这一步，朱元璋还是不满意，因为通政司的设立只是侵夺了中书省的“关白”之权，而不是取代了中书省的“关白”之权，中书省依然拥有“关白”之权。于是，针对这一情况，朱元璋决定更进一步，在设立通政司的第二年，也就是洪武十一年（公元1378年），朱元璋正式下令有司以后不需要再向中书省汇报了，只需对皇帝负责即可，从而彻底废除了中书省的“关白”之权。
朱元璋能够轻而易举做到削弱中书省的权力，是因为他作为开国皇帝大权在手，想要加强皇权也无可厚非，很多皇帝都这么干过，大家也就习以为常了，而随着承平日久，新皇帝的上位，相权总会得到一定程度上的复苏，所以中书省的官员们也没在意，毕竟你朱元璋能蹦跶几年，等日后那些“生于深宫之中，长于妇人之手”的新皇帝继位了，不还得靠中书省治理天下吗？但没有想到，朱元璋在对中书省动手的过程中，越来越上瘾，觉得太简单太没挑战性了，所以想玩把大的，什么是大的呢？就是在中国流传了一千多年的丞相制度。
朱元璋要对丞相制度下手，有两方面的原因，其一是历史遗留原因，丞相制度和丞相的存在妨碍了皇帝加强皇权，并且丞相位高权重还可能对皇权造成威胁，历朝历代篡位的权相是多不胜数，这是自丞相制度出现就固有的；另一个则是现实原因，因为朱元璋任命的几位丞相都不是什么安分的角色，都比较喜欢搞一些“专权乱政”的事情，这无疑加重了朱元璋内心的不满和猜疑。
朱元璋在立国之初任命的两位丞相分别是左丞相李善长和右丞相徐达，但是由于徐达作为武将经常外出作战，所以当时的全国政务主要由李善长一个人来负责。要说李善长这个人呢，能力是有的，并且还是极高的，朱元璋当年还是吴王的时候需要四处亲征，而李善长则负责留守的重任，并且将大后方治理得井井有条，将士服从命令，百姓安居乐业，给朱元璋大军的后勤保障也是源源不断，正是如此大的功绩，因而大明建立后朱元璋大封功臣之时，把李善长比作汉代的萧何，并且在众多功臣中亲自选定李善长功劳排名第一。
人无完人，说完李善长的优点再来说说他的缺点，如此有能力的人，自然是锋芒毕露，因此李善长自身存在的问题也是很明显的，《明史》是这么形容李善长的，说李善长面相像个忠厚长者，对谁都是一团和气，但实际上这个人心胸很刻薄，睚眦必报。并且李善长本人权力欲望极强，绝对不能容忍有人染指自己的权力，比如当时担任参议的李饮冰、杨希圣两人只是稍微越过了界（不排除是朱元璋故意安排的想借此牵制李善长），结果李善长直接上书朱元璋说这两个人有问题，自己合作起来不愉快，直接罢免了这两个人。但我们知道朱元璋本人也是个权力欲极强的人，李善长的这种做法无疑是跟朱元璋杠上了。因为李善长是首席功臣，所以朱元璋也不得不给他个面子，但忍耐终归是有限度的。
“朋党政治”是皇权所不能容忍的，而李善长在这方面又惹怒了朱元璋，李善长还是明朝初年朝中淮西集团的领军人物，淮西集团的成员大多是大明开国功臣、武将，都是实力派，在朝中势力极大，本来朝中还有以刘基为首的浙东集团能稍微牵制李善长，但是浙东集团的成员比起淮西集团那就是小巫见大巫了，因而在淮西集团的反击之下很快就节节败退，根本无力再牵制李善长等人，甚至连首领刘基都被迫告老还乡，老实说王朝建立之初，大部分功臣都是死人堆里滚过来的，同僚之间报团取暖不可避免，因而对皇帝来说如果能有多个集团相互牵制，避免一家独大，这种选择也不错，但淮西集团的举动无疑打破了皇帝的希望，而作为首领的李善长自然要被皇帝记恨。同时，李善长在担任丞相期间所奉行的用人原则便是“非淮人不用”，这无疑是一种招纳党羽、排斥异己的行为，令朱元璋对他的疑心更重了。
伴君如伴虎，汉初的丞相萧何也曾被刘邦怀疑，萧何为了自保而不得不自污，以及收敛行为。随着朱元璋对于李善长的不满也越来越明显，李善长本人也有所察觉，所以便采取了一招“欲擒故纵”，主动上书朱元璋请求退休。李善长的小算盘打得很好，在古代朝中像李善长这种级别的大臣辞职时，皇帝都会下诏挽留，一般都是大臣辞三次，皇帝挽留三次，以表示对大臣的不舍。后来发展出了套路，如果大臣不想辞职只是想做个高姿态，那么第一次辞职被挽留之后就打消想法了，留下来继续鞠躬尽瘁；而如果大臣是铁了心地想辞职的话，就走完流程，让皇帝表现自己的爱才之心连续挽留三次，三次之后批准辞职。
李善长想矫情一下，通过辞职试探一下朱元璋对自己的态度，毕竟自己位高权重，大明王朝离不开他李善长，当时是洪武四年（公元1371年），李善长才58岁，这个年纪远没有到老迈昏庸的时候，但李善长还是上书朱元璋，说常年的战争生涯导致自己体弱多病，估计没几天活头了，所以想回家享享清福，他没有想到的是朱元璋早对自己不满了，只是一时没机会罢免他而已。如今，李善长主动请辞，对于朱元璋来说简直就是“瞌睡递枕头——正是时候”，根本没有走流程，第一次就直接就同意了李善长的请求，说已经为他在家乡准备好了良田豪宅，安心回家养老吧，估计李善长当时心都凉了。一年后李善长上书表示自己病好了，这就是想要暗示朱元璋重新起用自己，但是朱元璋心想：当初是你要分开，分开就分开，直接派他去濠州修建宫殿了，意思也很明确，中央您老就别想回来了，好好在地方待着吧。