刘知远出生于贫困家庭，他年少参军，曾两次救石敬瑭于危难之间。石敬瑭感念他的救命之恩，就把他留在身边当都校。刘知远凭借着自己的能力，一步步升到都指挥使之位。石敬瑭为了反抗后唐，想要联合契丹，当时刘知远就反对石敬瑭认契丹王作父，还割让土地的做法，他认为这样做太过分了，如果割让土地，中原将会失去对抗北方外敌的天然屏障，日后必将后患无穷，但是石敬瑭并没有接受刘知远的建议。

石敬瑭的养子石重贵继位后开始反抗契丹，刘知远作为幽州的招讨使，在契丹大举南下的时候大破契丹军。因为破敌有功，刘知远被封太原王、北平王。那时候的刘知远已为一方之王，有了一争天下的能力。此后，刘知远还是继续和契丹军作战。再次大破契丹后，刘知远势力越来越大，石重贵与刘知远君臣之间陷入互相猜忌之中。对于石重贵的命令，刘知远一般也只是半推半就有选择地去完成。

杜重威兵变向契丹投诚，石重贵没能成功抗击契丹反而被抓，刘知远迎来了难得的机会。中原人大多不服契丹人，而且契丹人在中原烧杀抢掠无恶不作，统治一片混乱。于是刘知远在太原称帝，不过他为了笼络人心，并没有改国号。刘知远下令，禁止为契丹服务，并慰劳军士对抗契丹，后晋的旧臣纷纷向刘知远投诚。在中原人民的帮助下，刘知远一步步把契丹人赶了出去。局势慢慢稳定后，刘知远正式称帝，并改国号，可是称帝的第二年，刘知远便身染重病。

在弥留之际，刘知远托孤于史弘肇、王章、苏逢吉、郭威等人，并希望他们能把杜重威杀了，除掉后汉的威胁。