胡出生于中国中南部的一个农民家庭，14岁加入中国共产主义青年团，1933年加入共产党。他第一次引起毛的注意是在与国民党进行的国内战争期间充满传奇色彩的长征中，当时共产党穿过11个省，远征6000英里即将到达陕西省的延安。尽管胡未从中学毕业，还不得不自学，毛在20世纪30年代派他到越来越重要的共青团岗位上去工作。1941年，胡遇到了邓，当时两人都在部队任政治委员。随着国民党的失败，胡晋升为共青团的领导。

毛于1966年发动他的灾难性的“**”时，胡和邓一样，被贴上了“走资派”的标签。两个人都被剥夺权力将近10年。胡被流放到一个再教育营，在那里他不仅被强迫放牧牛羊，还得和牛羊吃住在一起。

当邓在1975年从流放中抬起头来，他把胡从马房中带了出来。但当胡准备了一个报告，指责政府将科学家错误地使用为农业工人时，他又一次被“清除”了。他的报告被斥为“大毒草”。

随着毛在1976年去世，胡又一次被邓推上了权力的舞台。从1980年起，他一直作为总书记处理中央委员会的日常事务。

即使在中国也对胡的家庭所知甚少。据信有3个已经成年的子女，据说多年来他们所有的人都在他的领导下过着同样俭朴的生活。