刘秀得知这个消息后，笑着对耿算说：“小儿曹乃有大意哉!”从此以后，刘秀多次召见耿龛，加以恩慰。耿拿曾给其父去信，陈述刘秀的功德，并且还说因为自己年少，恐不见信，要求父亲来拜见刘秀。当刘秀与耿算等人抵达蓟的时候，王郎以十万户的高额封赏求购刘秀人头的檄文也来到这里。不过刘秀似乎还不知道这一新情况，他让功曹令史王霸到市中招募兵士，用来扩大军队，准备进击王郎，“市人皆大笑，举手邪揄之”。其意嘲笑说，你们命马上都保不住了，还招哪一门子的兵?王霸没有办法只好带着满脸的愧色回去复命。
刘秀因为听说邯郸方面的兵才入蓟，打算南归，就开始召集官属商议这件事。耿算慷慨陈词道：“今兵从南方来，不可南行。渔阳太守彭宠，公之邑人；上谷太守，即拿父也。发此两郡，控弦万骑，邯郸不足虑也。”刘秀官属的心腹成员都全不同意这一看法，纷纷说：“死尚南首，奈何北行入囊中!”刘秀反而十分赏识耿算的见解，他指着耿拿对大家说，“是我北道主人也”。
恰巧就在这时，蓟城内突然发生了变乱，原来是故广阳王子刘接为响应王郎而起兵。霎时间，叛军开始到处搜捕刘秀，城内顿时乱作一团。人们又纷纷传言说什么“邯郸使者方到，二千石以下皆出迎”,等等。刘秀只好带领着其官属急忙向城外奔逃，然而“百姓聚观，喧呼满道，遮路不得行”。只见身长“八尺二寸”的期，“骑马奋戟，瞋目大呼左右曰‘跸’,众皆披靡”,这才**出一条通道。“至南城门，门已闭，攻之得出”。混乱中，“官属各分散”。虽然大家慢慢地又聚拢起来，但最终还是失散了。耿算、刘秀等人不便久留，“遂晨夜南驰”,沿途“不敢入城邑，舍食道旁”,可谓狼狈之极。
刘秀为避免被王郎所获，在寒风凌厉的严冬，从蓟县日夜兼程，好不容易赶到了饶阳(今河北饶阳)的无萎亭，这时“天寒烈，众皆饥疲”,刘秀此时也又冷又累又饿，几乎就要坚持不了，幸得冯异给他弄得点粥，才得以稍得缓解。
第二天，他感激得不知怎么办好，对诸将说“昨得公孙(冯异)豆粥，饥寒俱解”。这一段史实，后来成为我国历史上一段有名的故事，被古代戏剧家编为戏曲流传。
众人不敢懈怠，急忙又朝饶阳县城进发。当抵达时，大伙儿的肚子早已饿得咕咕叫。刘秀没有办法只好硬着头皮，“自称邯郸使者”,进入传舍(官办的客馆)。传吏(传舍的工作人员)见了不敢怠慢，连忙送上饭菜。刘秀手下众人，由于饿得时间太久，见了香喷喷的饮食，竟然忘记斯文而“争夺之”。这一切就引起传吏的怀疑，于是他擂响了传舍门前的警鼓，并大喊“邯郸将军至”。众人不知是诈，全都大惊失色，连刘秀也“升车欲驰”。
不过刘秀毕竟沉着老练，在刹那间的惊慌之后反而立刻冷静下来。他想如果邯郸将军真的来到此地，那是跑不掉的；既然已经是现在这个样子了，反不如静观以待。这时，他似乎也为自己刚才的失态而感到可笑。于是，刘秀不慌不忙地回到原位上坐好，反而对传吏说：“请邯郸将军入!”表情其平静自然，就好像刚才什么事都没有发生似的。这样一来，反把传吏弄得十分难堪。过了一会儿，刘秀及其官属才慢慢离去。传吏虽不敢阻拦，但心里的疑惑却总觉得难以消除，随即派人给城门长送信，让他一定要紧闭城门，切勿放走刘秀等人。门长看信后说道：“天下讵可知，而闻长者乎?”说完随手便把信扔了。
这样，刘秀一行才得以顺利出了城门。他们冒着霜雪，日夜兼程，继续向西南行进。而那些天特别寒冷，大家的脸、手，全被冻破裂了。
刘秀等刚到下曲阳(今河北晋县西),就听说王郎的大兵紧紧跟在后面，立马便追上他们了，一时间人心惶惶。当快到滹沦河时，有候吏来传报说正是解冻时刻，“河水流湛，无船不可济”,这样更使刘秀部下十分恐慌。刘秀令王霸亲自去看一看，果然如候吏所言，但为了安定众心，王霸回来并没有说实话，报称“冰坚可度”,这才动员了部众继续向前。让人想不到的是偏巧赶到河边，果然河冰已合，使大家安然度过。后来刘秀了解到细情，对王霸感谢不尽，王霸则认为是“神灵所佑”,“天瑞”如此。虽然这个事件不太可信，但也说明刘秀在这一段时期的确经历了极为艰难的生活。这一段生活，对他进一步熟悉和了解民间疾苦是大有好处的，使他深感到打天下之不易，也是他后来对农民施行缓和政策的思想基础。
刘秀一行继续南进到南宫(今属河北),因为遇上了特大风雨，于是就躲在路旁的空房子里暂避。这个时候房内刚巧砌有炉灶，于是冯异抱薪，邓禹生火，刘秀遂在灶火上烘烤湿衣服。冯异又想办法为刘秀烧得一顿麦饭，让他充饥。这两顿饭，使刘秀一辈子忘不了，一直到刘秀登基后六年，还向冯异下诏：“仓卒无萎亭豆粥，滹沱河麦饭，厚意久不报。”风雨过后，大伙儿又开始上路了。此时这支人马几乎是毫无目标地乱走一气，结果竟又北上至下博(今河北深县东南)西一带。到了这里之后，刘秀等人算是彻底失去了前进的目标，“逞惑不知所之”。就在这时，忽然一位“白衣老父”在道旁为之指点迷津：“努力!信都郡为长安守(意即为更始政权所守),去此八十里”。刘秀听后大喜，立即疾驰到信都，到了那里果然被太守任光热情接待迎进城里。这一事实后来被封建史家说得神乎其神，如唐朝史家颜师古在《后汉书》此条下注曰：“老父盖神人也，今下博县西犹有祠堂”。其实更有可能不过是一位好心的普通老人，出自同情心而向他作出指点，后来汉政府在此地建立了祠堂，神化了这件事。