宋平南唐后，赵匡胤不接受群臣请加尊号“一统太平”，说：“燕（幽云）、晋（北汉）未复，可谓一统太平乎？”可见他对平北汉和收幽云，是视为统一范畴的事，认为太原未下，幽云未复，赵宋王朝的统一事业尚未成功。

赵匡胤本拟按照“先南后北”的顺序实行统一大业，然而968年8月，北汉主刘钧（刘崇之子）死，其养子刘继恩继立，权臣郭无为掌握政权。九月，刘继恩宴请群臣，意图擒杀郭无为，反被郭无为派人杀死。刘钧另一养子刘继元继位。赵匡胤觉得北汉内乱，有机可乘，便临时改变“先南后北”的统一方针，决定先伐北汉。

开宝二年（969年）初，赵匡胤大举出征。当上皇帝后，赵匡胤颇维护自己的体面形象，很少像以前那样亲自领兵了，然而这次军事行动牵动了宋军各路方面的名将：党进、李继勋、赵赞、曹彬分别从东南西北四个方面筑寨合围太原城，负责围城打援的何继筠和韩重赟分别在石岭关和定州伏击两路来救的辽军，太祖不得不临阵调度、面授戎机。

太原城久不能下，战事异常惨烈。赵赞在督战时，足部被弩矢贯穿受伤。宋军决汾河灌城，赵匡胤亲自指挥禁军乘小舟载强弩攻城，扈从的内外马步军都军头王廷艾被流矢射中脑部而死。殿前指挥使都虞候石汉卿中箭，坠水溺死。殿前东西班都指挥使李怀忠（978年卒）中箭垂危。

殿前诸班卫士皆叩头请求急攻，愿尽死力，但赵匡胤不忍心这支精心训练、“以一当百”的亲卫军死光，说道：“汝曹皆我所训练，所以同休戚也。我宁不得太原。”众皆感泣。

由于宋军“顿甘草地中，会暑雨，多被腹病。”赵匡胤听了太常博士李光赞的谏言，下令退兵。第一次攻汉行动未能成功。

开宝二年（969年）二月，赵匡胤第二次征讨北汉。这次征讨仍以多次对北汉作战的李继勋为统帅，率兵先行进攻太原，赵匡胤随后从汴梁出发，率军奔赴太原。三月，赵匡胤抵达太原，立即部署宋军对太原城进行包围。李继勋在南，赵赞在西，曹彬在北，党进在东。北汉的刘继业率军冲出太原城，进攻实力较弱的赵赞和党进，可是没有取胜，又退回城内。北宋军队加紧攻城，还挖了太原城周围的汾水和晋水灌入太原城内。契丹果然没有辜负北汉的期望，穆宗派出援军，与赵匡胤当初预计的路线一样，从镇、定和阳曲两条路线进军太原。早已在这里守候的宋军，击退了前来援助的辽军。契丹没有放弃，穆宗派北院大王耶律斜轸继续南下援救北汉。耶律斜轸选择两路宋军的中间点——白马岭为突破点，一举越过了北宋的防线，进抵太原城下。北汉坚守数月，被宋军打得无还手之力。北宋军队受大雨和疾病影响，也无法短期内攻下太原。契丹援军的到来无疑会打破这种脆弱的平衡，压垮的则将是北宋军队。太常博士李光赞劝说赵匡胤退兵，面对这样的局面，赵匡胤只好同意了。

宋平南唐之后，南方除吴越、漳泉两个已经臣服于宋的小割据势力之外已全部归入大宋版图。开宝九年（976年），赵匡胤再次出兵伐北汉，命党进、潘美、杨光美、牛思进、米文义等率兵分五路攻太原，又以郭进等攻忻、汾、代、沁、辽、石诸州，所向皆克。9月，辽将耶律沙、塔尔（又译敌烈）等带兵救北汉。10月赵匡胤死，12月宋师撤回。