当年，冒顿单于击败东胡，东胡分裂，其中的一支退到大鲜卑山，被称为拓跋鲜卑。关于“拓跋”这个姓氏的来源，有两种说法，一是拓跋族自己的说法，拓跋族认为自己是黄帝的后代，黄帝以土德王，而在拓跋族的语言中，“土”为“托”，“首领”叫作“跋”，所以他们把“托跋”作为姓氏，后来称“拓跋”；二是史学家的说法，有史学家认为“鲜卑父匈奴母”的后裔称为“拓跋”。1980年，考古学家在今大兴安岭北段、内蒙古呼伦贝尔市鄂伦春自治旗阿里河镇发现了嘎仙洞，里面的刻石祝文与史书记载一致，证实了大鲜卑山的存在。

后来，拓跋鲜卑南迁至今河套平原及大青山（属阴山山脉）一带，拓跋首领拓跋力微又率部族迁徙到盛乐（今内蒙古和林格尔县）。曹魏景元二年（261），拓跋力微把儿子拓跋沙漠汗送到中原做人质。拓跋沙漠汗身高八尺，英俊魁梧，相貌不凡，他在洛阳广交朋友，这让西晋幽州刺史卫瓘大为忌惮，他贿赂拓跋部落酋长，让他们除掉沙漠汗。晋咸宁二年（277），部落酋长联手把沙漠汗杀害了，拓跋力微因此黯然神伤，一病不起，于当年逝世，年一百零四岁，在位五十八年。若干年后，道武帝拓跋珪建立魏国，尊奉拓跋力微为始祖。

拓跋力微去世，他的儿子拓跋悉鹿继位，在位九年后去世。拓跋悉鹿的弟弟拓跋绰继位，在位七年后去世。之后继位的是拓跋沙漠汗的小儿子拓跋弗，在位仅一年就去世了，然后是拓跋力微的儿子拓跋禄官继位。这时匈奴刘渊建立了汉赵（汉国），并州刺史司马腾请求拓跋部一同出兵攻打刘渊，刘渊大败。

拓跋禄官在位十三年后去世，拓跋沙漠汗的另一个儿子拓跋猗卢继位。拓跋猗卢有勇有谋，统一了拓跋三部，后来和晋幽州刺史刘琨合兵大败匈奴刘氏，被晋封为代公，后又被封为代王，“代”这个政权正式建立。公元316年，代王拓跋猗卢被儿子拓跋六修杀死，此事引发部落内部动乱，部族分裂，拓跋氏逐渐衰落。

之后拓跋弗的儿子拓跋郁律继位。晋大兴四年（321）拓跋郁律被害，拓跋沙漠汗的孙子拓跋贺傉（nù）继位，于晋太宁三年（325）去世，在位五年。同年，拓跋贺傉的弟弟拓跋纥（hé）那继位。

咸和二年（327），当时的后赵中山公石虎攻击代王拓跋纥那，拓跋纥那大败，把首府迁到了大宁。咸和三年（328），代国发生内乱，贺兰部落及各位酋长共同拥立原代王拓跋郁律的儿子拓跋翳（yì）槐为代王，拓跋纥那逃往宇文部落。拓跋翳槐迁首府至盛乐（今内蒙古和林格尔县），派弟弟拓跋什翼犍出使后赵为人质，请求同后赵和解。

咸康四年（338）十月，拓跋翳槐病重，下令立拓跋什翼犍为代王。但酋长梁盖等人认为拓跋什翼犍在遥远的后赵做人质，后赵不一定会允许他回来，即便允许，恐怕拓跋什翼犍还没有来到，就已经发生动乱了，因此计划另立新君。按年龄，这时候继位的该是拓跋翳槐的二弟拓跋屈了，但拓跋屈为人阴险狡诈，拓跋翳槐的三弟拓跋孤则很忠厚，显然，拥立后者上台会给酋长们更多安全感，于是他们一起杀死了拓跋屈，立拓跋孤为王。

这时候事情又起变化了，仁厚的拓跋孤坚决不同意做代王，他自己跑到邺城，向后赵表示愿意留下来作为人质，请求让拓跋什翼犍回去。他的举动感动了石虎，石虎让他和拓跋什翼犍一同回国。

咸康四年（338）十一月，拓跋什翼犍在繁畤（shì，今山西浑源县西南四十里）即代王位，改元“建国”，他把国土分了一半给拓跋孤。

拓跋什翼犍智勇双全，深得民心，继位后便开始按照以往中原政权的构架在国内设置文武百官。他任命燕凤为长史，许谦为郎中令。同时也命人着手制定叛逆、杀人、**、偷盗等方面的法律法规。这些法律法规简单明了，便于记忆，便于操作，国内法制建设走上正轨。他还命人在盛乐旧城南八里修筑新的盛乐城。

代国日益强大，一时间，周边各国纷纷归附，拓跋什翼犍的部众达到数十万人。代国人把来投靠的其他少数民族统称为“乌桓人”，拓跋什翼犍把这些“乌桓人”分为两部，各部设立一个总监作为领导——他的弟弟拓跋孤为北部总监，儿子拓跋寔（shí）为南部总监。

国内稳定，拓跋什翼犍又派使者携带贵重礼物，向燕国（前燕）求婚，燕王慕容皝把妹妹许配给了他。