在战火连连、兵荒马乱的年代，知识分子若无人赏识，最好的选择也许是在家闲居，这样还可以避祸，刘伯温也是这样，中进士后在家一闲居就是三年，三年后才当了一个八品官，被授为江西高安县丞。

虽然只是县令处理政务的助手，但刘伯温勤于职守、执法严明，很快就做出了政绩，却因不避强权、为民除害而遭地方豪绅切齿痛恨，若不是长官和部属护佑，估计活不到辅佐朱元璋的那一天。

刘伯温被朱元璋请到南京，是1360年的事情了，而在这之前的二十多年里，他的经历可以用不停地坐过山车来形容——辞官到江苏丹徒乡下教书为生、结束半隐居生活到大城市杭州生活、徐寿辉攻陷杭州之前带家人回到故乡、朝廷起用他为江浙省元帅府都事、不满元朝腐败昏聩再次辞官还里……

到了朱元璋碗里，刘伯温的才能才真正得到发挥，一出山就被朱元璋委任为谋臣的他，针对当时形势，建议朱元璋避免两线作战、各个击破，得到朱元璋采纳，并辅佐朱元璋集中兵力相继搞定陈友谅、张士诚等比朱元璋强大得多的割据势力。

据《明史·刘基传》记载，朱元璋的灭元方略，也是刘伯温参与制定的，并辅佐他把蓝图变成了现实，1367年之后长达八年时间里，参与军机、筹划全局的主要人物都是刘伯温。

公元1368年，朱元璋在南京称帝，授刘基为御史中丞兼太史令。

在朱元璋眼里，这位辅佐他打下天下的第一谋臣，理所当然应该当丞相，还对他表示“我的丞相，除了你其他人都不合适”，刘伯温却说他太疾恶如仇，又不耐烦处理繁杂的事务，即使勉强当了丞相，恐怕也当不好，反而会坏事。

他很有自知之明，这又说明他的智慧不同一般人——一个人最愚蠢的，莫过于没有自知之明，很多聪明人，把别人看得透透的，唯独看不清自己。