祖逖和同为晋朝名将的刘琨是好友，二人相互勉励，“闻鸡起舞”这个成语说的便是二人。

祖逖年轻时有个大志向，那就是想要光复中原。他曾与刘琨一起担任司州的主簿，与刘琨在同一个寝室睡觉。某一天晚上，夜半时突然听到鸡叫，刘琨说晚上听到鸡叫不吉利，祖逖却不这样想，他踢醒刘琨说：“这并不是不祥之兆。以后咱们听见鸡叫就起床练剑怎么样？”刘琨欣然同意。于是两人就起床舞剑。

渡江以后，晋帝司马睿让祖逖担任军事顾问长官。祖逖住在京口，集合了一批骁勇雄健的士兵，对司马睿说：“晋朝的变乱，不是因为君主无道而使臣下怨恨叛乱，而是皇亲宗室之间争夺权力、自相残杀，让戎狄之人钻了空子，祸害遍及中原。现在晋朝的遗民遭到摧残伤害后都想着自强奋发，您如果能够派遣将领率兵出师，派像我这样的人统领军队光复中原，一定会有积极响应的各地英雄豪杰！”司马睿向来没有北伐的志向，听了祖逖的话后，就任命祖逖为奋威将军、豫州刺史，仅仅拨给他千人的口粮、三千匹布，不供给铠甲和兵器，让祖逖自己想办法募集。

祖逖带领自己的私兵共一百多人渡过长江，在江中敲打着船桨发誓说：“我祖逖如果不能肃清中原敌人，就像这大江之水，一去不回头！”于是他到淮阴驻扎，建造熔炉冶炼浇铸兵器，又招募了两千多人然后继续前进，一力推动北伐事业。