永嘉二年（302年）始，石勒率军征战赵、魏等地，与西晋在北方的残余势力刘琨、王浚等多次交手，胜多负少，不断壮大着自己的力量。

他很注重对汉族知识分子的任用和尊重，特别建立了“君子营”安置归降的士人。这样的礼贤下士，使得张宾、刁膺、张敬等都成为辅助他成就大业的高级参谋。其中张宾最为重要，他是石勒身边的“诸葛亮”，石勒甚至只尊称他为“右侯”，不叫他的名字。

那段时间，整个中国北方都被鲜血浸染，各路诸侯杀伐不断，百姓遭受涂炭。在战火熊熊的岁月里，相较而言，石勒的部队还算有王师风范，虽然他依旧杀人如麻。

永嘉五年（305年），石勒在苦县击溃晋军主力近二十万众，活捉了晋王公贵族王衍等一大批人，全部杀掉。此后，晋军在北方已无力与少数民族军队抗衡了。

同年，石勒与匈奴汉军大将刘曜、王弥等一起攻入长安，活捉了西晋皇帝。

到了这个时候，石勒的实力越来越强，匈奴汉国当时的皇帝刘聪已控制不了他了。多年的角逐争锋，石勒消灭了晋在北方的部众刘琨、王浚等，又兼并了汉军的几股强大势力，如王弥、曹嶷等，成为洛阳以东最为强大的割据势力。

公元319年，匈奴汉国由刘曜继承，并改国号为“赵”，史称前赵。石勒不甘示弱，也称赵王，史称后赵。

公元328年，两赵决裂，决定北方之王的大战爆发。

石勒料敌在先，一举击溃前赵主力，活捉刘曜。整个北方，除了辽西、辽东的鲜卑和凉州的前凉外，已都在石勒的统治之下。

石勒年轻时，总感觉到耳边鼓角争鸣，战马嘶吼，虽然他母亲安慰他，说这是干活累了，耳鸣，不过现在看来，这大概预示了石勒是个不折不扣的、为战争而生的杀神。

几十年的征战，石勒扫平了北部中国。