俗话说，打江山容易，守江山难。要守好江山，有两个非常关键的因素，一个是如何用人，一个是用何种方法，即管理体制。在封建帝王时代，国家的中心权力集中掌握在帝王一个人手中。帝王需要面对的是举国上下不计其数的大事小情，想要高效且公正地处理好每一件事，就需要建立起一个职责明确的行政体系，使上令可以下传，也使下情可以上达。民众是水，帝王是舟，舟在水中，才能航行万里而无忧。唯有如此，才能使帝王与基层百姓呼吸与共。

因此，在建立明王朝后，朱元璋首先要做的一件事情就是改革元朝遗留下来的行政体制，使其符合当时的国情，以及符合朱元璋个人对大明帝国未来的畅想。

元时，中央政权为了方便管理全国事务，曾设中书省来总理全国事务，而中书省的实际掌控权则在左、右两名丞相手中。这样一来，事务不论大小，中书省都具有最终的决定权，于是也就有可能会造成左、右丞相个人私欲膨胀以及以权谋私的情况。这一行政方式，使两位丞相相互制约的同时，也带来了不可避免的缺点。如果两位丞相政见不合，便会直接造成国家决策层的争斗，甚至还可能会出现皇权被架空的现象。元朝的地方建制，则是直接效仿了中央中书省的方式，在各地分别设立行中书省。行中书省又被称为“外政府”，各地的政、法、军权都在其掌控之下。元朝后期，各地官府各自为政、擅自专权以及军队之间的相互攻伐等现象，都是中书省制所造成的直接弊端。当朝廷对地方官府的掌控丧失殆尽后，国家必然会走向分崩离析的局面。

小明王公开建国后，最初也是效法元朝中书省的行政体制，而朱元璋便是这一体制中的实际掌权者。在当时，全国大小事务都必须要报给朱元璋审批，他却不必件件事情都向小明王汇报。这就使朱元璋在短时期内掌握了军政大权，并且对全国各地的政治形势有了非常明晰的了解。元朝实行中书省制而造成的种种弊端，朱元璋早就看在眼中、记在心里。他既明白此种体制所带来的好处，同时也对其所造成的弊端有着深刻的体悟。朱元璋在建立大明政权的初期，也沿用了这一政治体制。因国家行政体系尚不完备，各地臣子违法乱纪的事件也是层出不穷，这使朱元璋意识到改革国家的行政体系已经势在必行了。

洪武三年（1370年），朱元璋诏告大臣说：“当初元朝一统天下之时，虽然曾有元世祖雄武勇猛的楷模，但元朝之所以短命而亡，皆是因为把国家权力全部任由臣子掌控而导致了欺上瞒下的局面。按照这一体制，人们是不能越过中书省而向皇帝直接禀奏的。在我看来，这是元朝政治体制最大的弊端。因为帝王不能了解到真实的状况，所以臣子才会恃权无恐，这恰恰是我今日想要改变的问题症结。”在朱元璋的原话中，他提到了“躬览庶政”四个字，意思是指从此之后自己要亲自处理朝政，各地大臣只是遵从皇帝的命令行事。

如果完全按照元时的政治体制，国家政事该如何处理，中书省是可以完全自主决定的，皇帝只需要进行相关的批准和诏告。如果有人将政事越过了中书省而向帝王禀奏，这不但违背了元朝定下的逐级奏请的行政制度，奏请政事的人还会因此而获罪。朱元璋提出要亲自处理政事的要求，就等于削弱了中书省的权力，从而逐步把自己手中的皇权扩大。尽管如此，仍然有一些官员以权谋私，所以朱元璋又在政治体系中设立了御史台，作为直接向中央政府负责的监察机构。

1382年，朱元璋改原来的御史台为都察院，在其原本职责基础上，更赋予其可以代表皇权而对国家行政和军事系统全面进行监督的权力。在朱元璋的授权下，都察院具有“纠劾百司，辨明冤枉，提督各道”的权力。凡是臣子之间有奸佞之人、结党营私之徒、作威作福之众、贪污腐败之属、学术不正之流，都察院都可以随时随地对其进行考察、弹劾和举报。如此一来，国家权力不但全部集中在朱元璋一人的手中，他更是凭借都察院而对全国官员进行了全方位的掌控，这就把朱元璋推向了“独裁”的地位。当这一权力体系得到系统的贯彻执行时，明王朝也终于成为中国封建王朝历史上中央集权程度最高的一个朝代。

都察院的总负责官员为督察御史，在朝中为正二品。在督察御史之下，又分设十三道监察御史，分布于全国各地十三个布政使司。每道监察御史之下，又分别设立七到十一人的编制，分别负责监督和纠察举报当地官员的不法行为。以今视之，朱元璋此举则实现了都察院和朝廷各部之间的分权并立和互相制衡，这对维护皇权具有极大意义。

1381年，朱元璋又设立了一个新的政府部门——大理寺，以大理寺卿为最高执掌，主要负责对各地刑狱之事进行校正。在朱元璋的大力推动下，凡是刑部、都察院和五军断事官所定下的一切刑狱案件，都要将卷宗和囚徒全部移交到大理寺进行复审，以确定前者的审讯和定刑有无徇私枉法之处。于是，大理寺与刑部、都察院三者就组成了一套完整的纠举、审理和复核的司法程序。如此，在行政系统的权力被逐一分散之后，国家司法系统的权力也实现了彼此之间的分散和制衡。

关于朱元璋为加强皇权而分散各职能部门权力的做法，不论是当时朝中还是后世评论家，都对此举甚有微词。朱元璋也曾因此而发表过自己的一段经验总结，他说：“我曾经罢黜丞相的职位，设立了五府六部、都察院、通政司、大理寺等衙门机构，便是要实现各个职能部门之间可以分别有效管理天下事务，并且可以实现彼此之间的权力制衡而不能互相倾轧。而所有这些事情，都是由朝廷统一管理，这才能实现天下政权的稳固安定。”朱元璋的这段总结不无道理，自他之后，整个明王朝都沿用此体制，这也从客观上说明此套行政系统是行之有效且利大于弊的。

为了达到中央集权的最强化，朱元璋还曾下令：“后世敢有言改更祖法者，即以奸臣论，杀无赦。”这一诏令，也为此行政体制的贯彻执行奠定了基础。在经过一系列的改革和整顿后，整个大明王朝形成了由行政、军事和司法监察三大系统分立，同时又保持皇权具有最高决策权力的政治体系。朱元璋成为了封建权力的集中掌握者。