朱元璋渐渐发现，朝廷大臣对自己开始疏远，反而更畏惧和听从丞相胡惟庸的话，于是暗下决心要废黜丞相职位。

胡惟庸此时也在收拢力量，尤其是军队将领。

吉安侯陆仲亨和平凉侯费聚平素在陕西和苏州作威作福，终日酗酒胡闹，深受朱元璋厌恶。胡惟庸利用朱元璋的威势对二人恫吓利诱，他们毫不犹豫地便倒向了胡惟庸，甘心做他的鹰犬。

陆、费二人听从胡惟庸的命令暗中招兵买马，准备调动之用。而胡惟庸又指示心腹陈宁利用其在中书省任职的便利，私下阅览天下兵马簿籍，将在京城的军事将领都督毛骧等人收为心腹。此外，胡惟庸还暗中与倭寇和北部元朝遗民达成协议，准备来个里应外合。

当然，胡惟庸篡权最重要的步骤，是暗中联络蓝玉和李善长，尤其是要争取李善长这位开国元老。胡、李两家本来就有联姻的关系，因此虽然李善长开始不同意，后来却也明目张胆地替胡惟庸笼络起官员来。

终于，胡惟庸与御史大夫陈宁、中丞涂节等人做好了起事的准备。

此时正逢一个小国进贡，胡惟庸居然不给朱元璋通报，让使臣等了几个月之久。

朱元璋赐死了再次回到宰相岗位的汪广洋，却无意中发现汪广洋的小妾陈氏是被没入官中的妇女。按照惯例，这样的女人只能赐给功臣。

朱元璋开始起疑心了，胡惟庸阻挠进贡的事情也被发现。这时，曾经称胡惟庸为“五百年来第一贤相”的涂节成了冒头状告胡惟庸的人。

最后，胡惟庸等一帮人被诛灭九族，顺带着，朱元璋开始大肆屠杀那些当年跟着他打天下的功臣。

胡惟庸案持续了十多年，共三万多人受牵连被杀，连李善长、宋濂等人的家族也不能幸免。

另一个不能幸免的便是大将军蓝玉。

蓝玉本来与胡惟庸私下有约定，而最早胡惟庸案也没有牵扯到蓝玉。可是洪武末年，锦衣卫突然指控蓝玉谋反，于是朱元璋再次大兴株连，一口气杀掉了一万五千人，无数达官贵人在这次浩劫中被杀。

一顿屠戮下来，洪武皇帝的开国功臣几乎被杀光了，颍国公傅友德、定远侯王弼、宋国公冯胜在案件结束数年后也没能逃过一死。

在开国武将中，只有汤和与在云南的沐英得以幸免。