根据史书记载，胡惟庸于1355年便投奔了朱元璋，曾经也是从基层干起的优秀青年干部。

大明建国后，胡惟庸担任中书省参知政事。汪广洋被免职之后，朱元璋一时竟觉得群臣中没有人适合接替他担任丞相。后来，朱元璋发现胡惟庸处事谨小慎微，加上李善长一个劲地推荐，于是朱元璋任命胡惟庸担任右丞相，不久又升他为左丞相，成为百官之首位。

胡惟庸，定远人。归太祖于和州，授元帅府奏差。寻转宣使，除宁国主簿，进知县，迁吉安通判，擢湖广佥事。吴元年，召为太常少卿，进本寺卿。洪武三年拜中书省参知政事。已，代汪广洋为左丞。六年正月，右丞相广洋左迁广东行省参政，帝难其人，久不置相，惟庸独专省事。七月拜右丞相。久之，进左丞相，复以广洋为右丞相。（《明史》）

事实上，胡惟庸可不像朱元璋料想的那样，是个谨慎克己的人。

胡惟庸担任丞相的时间一长，便专横跋扈起来，将朝廷官员生杀予夺的大权完全掌握在手里，朝廷大事也不向朱元璋汇报便私自决定。凡是参奏他的奏章，胡惟庸都会暗中截留，然后指使党徒将上奏的人清除掉；而那些热衷投机钻营的人，为谋求官职和爵位，则争相给胡惟庸送金帛、名马、好玩之物。

朝廷正直之士看到这样的事后非常气愤，比如大功臣徐达便一再向朱元璋揭发胡惟庸的所作所为，可是朱元璋却置之不理。

胡惟庸更加嚣张跋扈了，他甚至派人向开国大功臣刘基下毒，还与李善长勾结攀亲，广结朋党。

这时候有一个大臣叫涂节，他向胡惟庸献媚，竟然请求当他的义子，还恬不知耻地称胡惟庸为“五百年来第一贤相”。对于这句话，胡惟庸心里极为受用，从此他便以此自称。

除此之外，还有人称在胡惟庸远在定远的老家，看到从池塘水底长出了一根石笋，也有人向胡惟庸说，看到他们家祖坟附近有火光闪烁。

下边的人各种争相献媚，胡惟庸开始飘飘然，甚至觉得自己比坐在皇位之上的老朱还要厉害。