建安元年（196），曹操迁献帝于许，程昱为尚书。是时兖州尚未完全安定，曹操又以他为东中郎将，领济阴太守，总督兖州事务。不久，刘备来投奔曹操。程昱认为，“刘备有雄才而甚得众心，终不为人下”，劝曹操趁他羽翼未丰，及早除掉。曹操欲示天下宽仁，没有采纳。后来，曹操派刘备领兵去击袁术。程昱和郭嘉同时加以阻止，他说，刘备有异心，不杀则罢，但不可放走。曹操听后，很后悔，但已经来不及追回刘备了。刘备一走，就斩将叛曹。

官渡之战前，程昱领七百兵卒守鄄城。曹操担心他兵少，被袁绍攻破，打算派兵两千增援。程昱不要。他说：“袁绍拥兵十万，自以为所向无前，他见我兵少，便不放在眼里，也不会轻易来攻打。如果增兵，反而会引起他的注意而派兵攻城。攻而克之，白白地损兵失地。因此，愿主公不必忧虑！”曹操没有给程昱增兵，袁绍果然也不去攻鄄城。程昱的见识胆气，令曹操佩服不已。在袁绍兵败身死后，程昱收降逃兵，招兵买马，得精兵数千。然后领去与曹操会于黎阳，攻打袁谭、袁尚。打败袁谭、袁尚后，他官拜奋武将军，封安国亭侯。

曹操征荆州，刘备溃逃到孙吴的夏口。当时众将吏纷纷议论，认为孙权会趁此将刘备杀掉，以除后患。唯独程昱不以为然。他认为孙权年幼，在位不久，目前在海内的威名还不够。而曹公无敌于天下，又得到荆州，威震大江上下，孙权虽有谋略，却无法单独以一方的力量来抵挡。刘备素有英名，兼有虎将关羽、张飞，孙权必定会借助他们来对抗。因此，他预料将出现交战双方打得难分难解的局势。而到那时，刘备借机扩大了势力，孙权要杀他又不可能了。后来，事态的发展果然完全如程昱所预料的那样。