东汉建立之后，匈奴对东汉政权基本上持一种敌视态度。他们除不时南下侵扰之外，还支持彭宠的叛乱，到了后来又扶植卢芳建立傀儡政权，使北方边境烽烟四起。
刘秀因为东汉初期的现实情况不允许对匈奴用兵，所以对匈奴采取羁糜政策。建武六年(公元30),他首次与匈奴通使，所派使臣仍然是当年更始遣使匈奴的归德侯刘飒。不过这次匈奴人对待使臣还算客气，“亦遣使来献”,给予积极的回应。刘秀看到这种情况，自然高兴，于是“复令中郎将韩统报命，赂遗金币，以通旧好”。
没有想到这回匈奴单于又骄踞起来，“自比冒顿，对使者辞语悖慢”。尽管如此，刘秀仍然委曲求全，“待之如初”,从而在表面上维持着“使命常通”的局面。然而匈奴人并不满足于这种状况，他们“数与卢芳共侵北边”,这就严重威胁着东汉帝国的安全。
建武九年，刘秀令大司马吴汉率王常等四位将军进击卢芳属将贾览、闵堪于高柳(今山西阳高)。贾览、闵堪由于得到匈奴的救援，兵力增强了许多，吴汉等连战不利，“经岁无功”。由是“匈奴转盛，钞暴日增”,至建武十三年，“遂寇河东，州郡不能禁”。建武十五年，刘秀一面“遣吴汉率马成、马武等北击匈奴”,一面“徒雁门、代郡、上谷吏民六万余口置居庸、常山关以东，以避胡寇”。这样一来，匈奴左部便乘虚“转居塞内”;东汉政府因为这件事而感到担忧，于是“增缘边兵郡数千人，大筑亭候，修烽火”,开始加强防御。
当然，这期间双方也并非因此而没有来往。例如建武十四年，匈奴便曾“遣使奉献”,而东汉也派遣中郎将刘襄回报。这样，汉甸之间信息的传递还是灵通的。这个时期，卢芳亡命在匈奴，“匈奴闻汉购求卢芳，贪得财币，乃遣芳还降，望得其赏”。这样一来，“卢芳自匈奴复入居高柳”。然而卢芳自从回到汉境之后，“以自归为功，不称匈奴所遣”,自己投降了东汉，并因此被封为代王。这就等于让匈奴吃了一个哑巴亏，因为这个原因“单于复耻言其计”“由是大恨，入寇尤深二十年，遂至上党、扶风、天水；二十一年冬，复寇上谷。中山，杀略钞掠甚众，北边无复宁岁”。
正在北方边境形势日趋紧张，匈奴入侵日益升级的时候，匈奴内部却天灾人祸并发，这样北方边患一时间反倒自己就缓解了。
建武二十二年(公元46),“匈奴单于舆死，子左贤王乌达侯立；复死，弟左贤王蒲奴立”。短短一年中，接连死了两位单于，这样势必造成政治上的动**。而当时“匈奴中连年旱蝗，赤地数千里，草木尽枯，人畜饥疫，死耗大半”。在这种危急的情况下，蒲奴单于担心东汉乘其敝而伐之，“乃遣使诣渔阳求和亲”,汉廷则派中郎将李茂报命。
这个时候，匈奴贵族内部争夺单于继承权的斗争也日渐激烈起来。领有匈奴南边八部及乌桓的右奠鞬目逐王比，为前呼韩邪单于之孙，最开始由于口出怨言受到单于舆的怀疑和监视，及舆死后又因未能立为单于而因此心怀愤恨，于是秘密派遣了一个叫郭衡的汉人带着全匈奴的地图，在建武二十三年到西河太守那里要求内附。其后事情泄露，他索性一不做二不休，“遂敛所主南边八部众四五万人”,另起炉灶。蒲奴单于“遣万骑击之，见比众盛，不敢进而退”。
建武二十四年春，匈奴八部大人共议立比为呼韩邪单于。为什么要袭用比的祖父呼韩邪单于的名号，就是希望要像他当年那样，“依汉得安”,保持与汉的臣属关系。于是比遣使到五原塞(今内蒙古包头西北),向汉表示“愿永为著蔽，提御北虏”。刘秀于是将这件事交给公卿讨论，“议者皆以为天下初定，中国空虚，夷狄情伪难知，不可许”。
这时只有武官中郎将耿国主张“直如孝宣故事受之，令东捍鲜卑，北拒匈奴，率厉四夷，完复边郡”。刘秀采纳了这个意见。到了当年冬天，比自立为呼韩邪单于，从这时候起匈奴正式分为南北两匈奴。经过这样的变故，东汉的北方边境安全因亲汉的南匈奴的建立，也就大为改观。
到了第二年的春天，“南单于遣使诣阙贡献，奉藩称臣”,同时派遣其弟左贤王莫将兵万余人出击，一举俘获北单子弟奠鞬左贤王，又破北单于帐下，并得其众合万余人，马七千匹，牛羊万头。“北单于震怖，却地千里”。此后不久，奠鞬北部骨都候与右骨都焕率众三万余人，也来归降南单于。三月，南匈奴再次派遣使臣到洛阳，“献国珍宝，求使者监护，遣侍子，修旧约”。
又过了一年，也就是建武二十六年(公元50),刘秀派遣中郎将段彬、福校尉王郁出使南匈奴，在距五原郡(治九原，今内蒙古包头西)西部塞八十里的地方，立其王庭。单于比延迎汉使。没有想到见面后，使者要求他按照汉朝的礼仪，“当伏拜受诏”。单于迟疑了一下，但还是跪下去俯首称臣。段彬等回朝复命，刘秀对单于的表现颇为满意，遂下诏允许南匈奴人居云中郡(治今内蒙古呼和浩特西南)。南单于遣使上书谢恩，“献骆驼二头，文马十匹”。
这年的夏天，南单于所俘获的北匈奴奠鞬左贤王率其众及南部五骨都侯会三万余人叛归，他们在离北王庭三百多里的地方，共立奠鞬左贤王为单于，这样一来就出现了匈奴三单于并立的局面。不过才过了短短的一个月之后，新立单于所部便发生内乱，“更相攻击，五骨都侯皆死，左贤王遂自杀，诸骨都侯于各拥兵自守”。
这年秋的一天，南单于“遣子入待，奉奏诣阙”。刘秀诏赐单于冠带、衣裳、黄金玺、紫網绶，安车羽盖，华藻驾驷，宝剑弓箭，黑节三，驸马二，黄金、锦绣、缯布万匹，絮万斤，乐器鼓车，檗戟甲兵，饮食什器；“又转河东米二万五千斛，牛羊三万六千头，以赡给之”。刘秀同时还令负责监护的中郎将设置安集掾史，率武装弛刑徒五十人，“随单于所处，参辞讼，察动静”,以体现监护之责。
到了年终时，单于则“遣奉奏，送侍子入朝，中郎将从事一人将领诣阙”。这时汉朝廷也派遣谒者送前待子回还单于王庭，双方“交会道路”。元旦朝贺大典及拜祠陵庙结束后，汉廷即遣还匈奴使者，“令谒者将送，赐彩缯千匹，锦四端，金十斤，太官御食酱及橙、橘、龙眼、荔枝；赐单于母及诸阏氏(单于妻)、单于子及左右贤王、左右谷蠡王、骨都候有功善者，缯彩合万匹”。这样的相互来往，在以后成为制度，“岁以为常”。
因为东汉与南匈奴建立了十分密切的友好关系，所以便让云中、五原、朔方、北地、定襄、雁门、上谷、代八郡内徙以避匈奴侵扰的民众，又都还归本土。朝廷派遣谒者分别率领弛刑徒，补治城郭，负责具体的遣返工作，对还归者“皆赐以装钱，转给粮食”。
这年冬天，先前叛逃的五骨都侯子率领着所属三千人逃往南部，北单于派骑追击，又把他们通通抓获。南单于因此出兵与其交战，结果反而吃了败仗。在这种情况下，刘秀复诏南单于徙居西河美稷(今内蒙古准格尔旗西北),并使中郎将段彬及副校尉王郁屯留西河郡拥护保卫他们，“为设官府、从事、掾史”。又令西河长史每年率骑二千人，弛刑徒五百人，协助中郎将卫护单于，“冬屯夏罢”。
这件事也从这个时候起，成为制度。南单于徙居西河之后，也列置诸部王，帮助汉廷捍戍边疆。其使韩氏骨都侯屯北地，右贤王屯朔方，当于骨都侯屯五原，呼衍骨都侯屯云中，郎氏骨都候屯定襄，左南将军屯雁门，粟籍骨都侯屯代郡，“皆领部众，为郡县侦罗耳目”。北单于看到东汉和南匈奴如此紧密的联防，“北单于惶恐，颇还所略汉人，以示善意”。其钞略的士兵每到南部下，还过亭候，立即道谢说是咱击亡虑”“非改犯汉人也”。
建武二十七年，北单于派遣使臣到武威请求和亲，刘秀召集公卿廷议，因为意见分歧很大，始终无法做出最后的决定。这时皇太子刘庄进言道：“南单于新附，北虏惧于见伐，故倾耳而听，争欲归义耳。今未能出兵，而反交通北虏，臣恐南单于将有二心，北虏降者且不复来矣。”意谓南单于新近归附我们，北匈奴害怕受到讨伐，所以倾注全力打听消息，争抢着前来归义；现今我们未能出兵，若反而交通北匈奴，我担心南单于将会产生二心，而北匈奴也不会再来归降了。
刘秀听了自己儿子的话，细仔分析觉得非常有道理，于是告知武威太守“勿受其使”。建武二十八年(公元52),北匈奴再次造使，这次直接来到京师，“贡马及裘，更乞和亲，并请音乐，又求率西域诸国朗客与俱献见”。刘秀让三府(太尉、司徒、司空府)讨论如何酬答这件事，司徒掾班彪上奏认为：“羁糜之义，礼天不答”“可颇加赏赐，略与所献相当，明加晓告以前世呼韩邪、郅支行事；报答之辞，必令有适”。意思是说，我们如果想笼络匈奴，就不能不对其礼敬行为给予回应；可以多给些赏赐，大体与对方所献贡品价值相当，并明确告他们应当记取前代呼韩邪归汉友好和郅支叛汉被诛的历史经验；回复对方的说辞，必须恰如其分合乎情理。
班彪还特地为了这件事草拟了说辞的草稿奉上，以供参考。刘秀采纳了班彪的奏言，对北匈奴答之以礼。到了建武二十九年，可能是为在南、北匈奴间求得某种平衡，刘秀又赐给南单于羊数万头。建武三十一年，“北匈奴复遣使如前”,东汉朝廷仍然作玺书报答，赐予彩缯，但却没有派遣使者。
光武帝中元元年(公元56),南匈奴单于比逝世。汉廷于是派中郎将段彬“将兵赴吊，祭以酒米，分兵护卫之”。比弟左贤王莫继立，是为丘浮尤辊单于。刘秀“遣使赍玺书拜授玺绶，赐予衣冠及彩缯”。以后单于去世，汉廷皆吊祭逝者，慰问新立者，均“以此为常”民莫是个短命的单于，到了第二年次年便死去，其弟汗继位。不过这一年，刘秀也逝世了。所以总的来看，光武一代，自南匈奴内附之后，可以说与南匈奴的关系是非常密切而友好的，与北匈奴也建立了较为正常的关系。