在最开始的时候，乌桓与鲜卑都以“东胡”为名，后来一部因保聚乌桓而得其名，另外一部因为源于鲜卑山，而称为鲜卑。到了西汉初年，因匈奴冒顿单于的势力非常强盛，二族都作为匈奴的附部。汉武帝派卫青、霍去病大破匈奴以后，曾一度迁乌桓一部分于西汉的上谷、渔阳、右北平、辽西、辽东等东北各郡塞外，让他们为西汉侦察匈奴各方的动静。后来西汉政府又设置乌桓校尉，总管乌桓各部。

东汉时上谷郡治在今北怀来，渔阳郡治今北京密云，右北平郡治今河北丰润，辽东郡治今辽宁义县附近。所以这个时候乌桓各部基本游牧在今北京、河北北部、内蒙古和辽宁西、中部一带。

到了王莽时期，新朝对乌桓同样施行民族歧视和压迫政策，从乌桓强征兵丁，并且把他们的妻子作为人质拘押到汉的郡县。由于乌桓人水土不服，又怕长期战争不休，全都不愿当兵，于是就成群逃亡，这样就变成为骚扰地方的散兵游勇，王莽官吏借这个机会将乌桓兵丁家属悉数杀死，又囚禁了乌桓各部首领，由是双方因此结下深怨。

从王莽末年到东汉初年，乌桓骑兵又和匈奴联合起来，不断在边境“连兵为寇”。代郡(今山西阳高)以东诸郡连年受到他们的侵害。鲜卑居处离上谷诸郡又近，因此“朝发穹庐，暮至城郭，五郡民庶，家受其辜，至于郡县损坏，百姓流亡”。这种战乱的情况延续长达二十多年之久，到建武二十一年，光武帝这才腾出手来，派了大将马援率三千骑兵给予一次反击，但这一战役未能取得胜利。

直到建武二十四年(公元48)匈奴分裂南北以后，东北乌桓方面的形势，才出现了新的转机，转向对东汉政府有利。匈奴国乱内以后，乌桓乘机摆脱了匈奴的控制，派兵出击匈奴，这样就使匈奴不得不“北徙数千里”,造成“漠南地空”的局面。乘着这个好机会，光武帝对乌桓施行了拉拢和好的政策，派使“以币帛赡乌恒，终于导致建武二十五年(公元49)辽西乌桓大郝旦为首的近千名乌桓部落对东汉的“向化”,开始对东汉朝贡，到洛阳“诣阙”称臣，贡献奴婢、牛马、虎豹、貂皮、良弓等物。

光武帝于是对乌桓正式册封，封乌桓首领渠帅为“侯王君长”的八十一人。在这以后，乌桓正式成为东汉的属国部分，经常有首领子弟在光武帝身边“宿卫”。东汉政府还将乌桓诸部逐渐迁居到塞内来，分布在沿东北边郡各地，“给其衣食”“为汉侦候，助击匈奴、鲜卑”,结果，就形成和南匈奴一样，成为东汉在东北诸郡的一道屏障。后来在班彪的建议下，光武帝又恢复了西汉时设置的乌桓校尉官职，并将驻守处设在上谷宁城(今河北万全),在其地“开营府”,还鼓励汉族和东北各族“岁时互市”。光武时对乌桓民族的处置，对东北诸郡的平靖和各族经济生活的安定，打下了非常良好的基础，史称此后，“及明、章、和三世，皆保塞无事”。

明帝初至和帝末，自公元58—105年，即长达五十年左右。和平安宁的环境，给东北各族人民生产、生活、经济发展，带来了极为有利的条件。

光武帝后期乌桓大部内迁塞内汉郡以后，于是北部的鲜卑部落大量南下，占据了乌桓原在东北边境的居地，一部分留居在塞外赤山(今内蒙古赤峰市红山)的乌桓因此而归附鲜卑，称为“赤山乌桓”。鲜卑部族在西汉时也曾长期为匈奴所奴役，因为当时远居辽东，并没有和西汉政府交往。到东汉初年，他们才和匈奴、乌桓一道，连兵“寇抄北边”。当时，匈奴、鲜卑及赤山乌桓连和强盛，数人塞杀略吏人。

开始，光武帝采取消极的防御政策，只是适当增加边郡守兵，“又遣诸将分屯障塞”。后来，拜素“有勇力”又了解边情的祭彤为辽东太守。祭彤到任后，“励兵马，广斥候”,常常身先士卒，冲锋在前，抵御鲜卑的侵犯。这样，到了建武二十一年(公元45),鲜卑与匈奴联军又一次大规模南侵，遭到祭彤的有力打击，以致鲜卑兵“投水死者过半”,在祭彤大军连续追击下，入犯鲜卑“皆弃兵**散走”。经过这一次战役，东汉军共“斩首三千余级，获马数千匹”,取得对鲜卑战争已来的前所未有的一次胜利，鲜卑“由是震怖”,不敢再轻易南扰。

东汉前期与鲜卑关系的根本改善，也在匈奴于建武二十四年(公元48年)分裂为南北部以后。建武二十五年(公元49),东汉政府在祭彤的建议下，同意采用“招呼鲜卑，示以财利”的拉扰政策。在光武政府的鼓励和引诱下，鲜卑首领大都护偏何表示愿意归顺汉朝。祭彤因此给予了极大的奖赏。随偏何的亲附，与鲜卑同类异种的高句骊、满离等东北各族，也都“骆驿款塞”,向汉贡献貂皮好马、在祭彤的指挥下，鲜卑偏何等部首领自此岁向北匈奴发动进攻，使北匈奴逐渐衰弱下去，再也无力与东汉为敌。而东北边境从此得以安宁，“边无寇警，鲜卑、乌桓并入朝贡”。

光武帝末年，祭彤又率偏何等鲜卑部众，彻底平定了赤山乌桓，使得“塞外震替”。祭彤因此而声威大振，这样整个北方民族，“西自武威，东尽玄菟及乐浪，胡夷皆来内附，野无风尘”。到建武三十年(公元54),鲜卑其他各部大人于仇贲、满头等全都来向汉投款表示归附，光武封于仇贲为王，满头为侯。从此鲜卑算是正式臣服于汉。这种情形一直持继到明帝、章帝二世，东北边境都“保塞无事”。