建兴四年（316）十二月，长安失守的消息传到江东，时任丞相的琅琊王司马睿十分悲痛，命人向各地发出讨贼檄文，约定日期，准备一起出兵收复失地。

司马睿身穿盔甲，披上战袍，亲自带兵到城外驻扎，摆出随时出发的阵仗。这时候，从水路运送军粮的队伍却迟迟未到，司马睿问：“是谁负责运送军粮？”有人回答道：“是督运史淳于伯。”司马睿大怒道：“耽误军务，斩首示众！”

督运史淳于伯被押赴刑场，刽子手手起刀落，淳于伯人头落地。刽子手在柱子上擦刀，想擦掉上面的血迹，突然见鲜血顺着柱子往上“攀爬”，一直爬到两丈多的柱子顶端才流下来。这是反常现象，围观的人都觉得是因为淳于伯死得冤枉。

丞相司直刘隗（wěi）趁机向司马睿进言道：“淳于伯虽然有罪，但罪不至死，从事中郎周莚（yán）把关不严，应该免他的职。”刘隗还想以此追究右将军王导的责任，王导是个聪明人，上书自求处分，请求司马睿把自己免职。他是司马睿的核心幕僚，司马睿自然不会追究他的责任，反而替他开脱道：“刑罚运用不当是我一时糊涂造成的，跟各位无关。”于是统统没有追责。司马睿的这场北伐表演用淳于伯的头收了尾，之后也不再提北伐之事。

建兴五年（317）正月，汉赵军队进攻弘农郡，时任弘农太守的平东将军宋哲被吓破了胆，他丢下城池，前去投靠江东司马睿。二月二十八日，宋哲到达了建康。为了提高自己在司马睿面前的分量，他谎称自己此行是奉晋愍帝司马邺的诏书，让琅琊王司马睿总领国家朝政。宋哲给出的诏书里是这么说的：“国家遭逢厄运，黄冈不振，朕以寡德继承大统，不能振兴国家，致使凶胡胆大包天，率领犬羊进逼京城。朕今天被困在势单力薄的城中，忧虑万端，唯恐国家崩溃只在旦夕之间。卿（指宋哲）把朕的旨意传达给丞相，让他统领国家，择机收复旧都，修复陵庙，报仇雪耻。”

司马睿听到诏书后流泪不止。宋哲在旁催促道：“请丞相速速接旨，不要辜负圣上所托。”司马睿含泪点头。

时间进入三月，司马睿换上素色衣服，搬离平时居住的房间，为故国的灭亡哀悼三天。此时西阳王司马羕（yàng，司马亮第三子）和一众官员向司马睿进言，劝他称帝，但司马睿不肯。司马羕等人再三请求，司马睿坚决不答应。他感慨不已，流着泪说道：“我不能为国家殉难死节，是个罪人啊！我本就只是个琅琊王，诸位不要逼我。”说罢，他吩咐仆人去收拾行囊，准备车马，一副要返回封国琅琊（今山东临沂市）的样子。司马羕一看司马睿心意已决，就退了一步，请司马睿依照魏、晋两朝的旧例，称晋王，司马睿终于答应了。

三月九日，琅琊王司马睿即晋王位，改年号为“建武”，宣布大赦，但杀死他祖父母、父母的刘聪和石勒等不在赦免之列。然后他在建康城设文武百官，并建宗庙用来祭祀祖先。以改年号为标志，东晋的朝廷正式建立。

有官员请求立太子，这时候司马睿的大儿子司马绍十九岁了，二儿子司马裒（póu）十八岁，他们的母亲同为荀宫人。按照立长的原则，应该立司马绍为太子，但司马睿更喜欢次子司马裒，想立他为太子。他征求右将军王导的意见，王导说应该立长，司马睿对王导言听计从，于是立司马绍为王太子。当然，司马睿也没有亏待二儿子司马裒，将他封为琅琊王，任都督青、徐、兖三州诸军事，镇守广陵。

之后，司马睿任命西阳王司马羕为太保，司马承为谯王。任命征南大将军王敦为大将军、江州牧；扬州刺史王导为骠骑将军、都督内外诸军事，领中书监和录尚书事；丞相左长史刁协为尚书左仆射，右长史周顗为吏部尚书，军咨祭酒贺循为中书令，右司马戴渊、王邃为尚书，司直刘隗为御史中丞。其他人也都有封赏。

王敦辞谢江州牧的职务，其堂弟王导以王敦都督江、扬、荆、湘、交、广六个州的军事事务，自己不适宜再担任都督中外诸军事为由，辞谢了这一职务，另外，贺循也因故辞谢中书令，司马睿一一答应。

东晋刚刚建立，百废待兴。农业是经济根本，于是司马睿下令鼓励、督促农业生产，并要求根据上交粮食的多少来考核郡太守级官员的政绩。军队也要自己种植粮食，但收成归自己所有，作为军粮。