刘晔归曹，献策一举征灭庐江宗帅陈策，被辟为司空仓曹掾，不久转为主簿，后又任行军长史兼领军，成为曹操的亲信智囊之一。建安二十年（215），刘晔随曹操征汉中张鲁。汉中“户出十万，财富土沃，四面险固”，北通关中，南扼巴蜀，西接陇右，东南与荆州相连，具有重要的战略地位。张鲁在汉中割据三十余年，不愿臣服曹操，率众数万，在褒斜南口阳平关“横山筑城十余里”，拒关坚守（《三国志·武帝纪》）。号称“汉中盆地西端门户”的阳平，是个易守难攻的险关。《水经·沔水注》云：“城因即崤岭，周五里，东临谷，杳然百寻，西、北二面，连峰接崖，莫究其极，从南为盘道，登陟二里有余。”曹操本来听凉州从事和武都降人讲，“张鲁易攻，阳平城下南北山相远，不可守也”（《资治通鉴》卷六十七），但亲临阳平，才知事实与传闻截然相反。曹军“攻阳平山上诸屯，山峻难登，既不时拔，士卒伤夷者多，军食且尽，操意沮，便欲拔军截山而还”（同上）。曹操带兵先退，下令刘晔督察后军顺次退出。眼看夺取汉中的愿望就要成为泡影，刘晔却飞驰至曹操跟前，提出了“不如致攻”的建议。刘晔认为，现在军中粮道不继，返途又很漫长，此时退回，军队会损失很大，而且，他料定，大军这一撤退，敌方防守必然松懈，正可利用这个机会。果然，“贼见大军退，其守备解散。公乃密遣解慓、高祚等乘险夜袭，大破之，斩其将杨任，（张）鲁溃奔巴中，巴、汉皆降”（《三国志·武帝纪》）。刘晔的一点谋略，竟成就了夺取“蜀之股臂”巴、汉的大事。

这时，刘晔又建议一鼓作气乘胜南进消灭刘备，他分析，刘备“得蜀日浅，蜀人未恃也”“今举汉中，蜀人望风，破胆失守，推此而前，蜀可传檄而定”“若小缓之，诸葛亮明于治而为相，关羽、张飞勇冠三军而为将。蜀民既定，据险守要，则不可犯矣。今不取，必为后忧”。当时，刘备正在公安与孙权对峙争夺荆州南三郡，蜀中空虚，听说曹军杀来，一日数十惊，这的确是取蜀的好时机。可是曹操没有采纳，却匆忙还军邺城，去搞什么“亲耕籍田”。失之毫厘，差之千里。一个失误，竟养成了与之对峙了半个世纪的蜀汉，这确实是曹操所未曾料及的。