正是在北平练兵期间，徐辉祖发现姐夫的燕王府有人图谋不轨，并把他抓来杀了。

那人叫阿鲁帖木儿，蒙古族，原为北元大将，洪武二十三年，朱棣远征北元，打得北元残余势力落花流水，在迤都（今内蒙古苏尼特左旗北部中蒙交界处）那个地方，阿鲁帖木儿与太尉乃儿不花、丞相咬住一起投降朱棣，被朱元璋封为燕山中护卫指挥同知，后来又升为指挥使。

捕杀阿鲁帖木儿，说明徐辉祖对朝廷极其忠诚，因为阿鲁帖木儿不但是朱棣的护卫老大，还是他的心腹，所以那以后不久，朱元璋就让他掌管中军都督府。

当时统领全国军队的最高军事机构叫大都督府，下辖中军都督府﹑左军都督府﹑右军都督府﹑前军都督府﹑后军都督府五个都督府，把如此重要的中军都督府交给徐辉祖，说明朱元璋对他的信任，一点水分也没有。

徐辉祖也没辜负朱元璋的信任，他对朝廷的这种忠诚，一直贯穿始终，到朱元璋去世、朱允炆上台后，依然丝毫未减。

可惜朱允炆一开始就没听他的，辜负了他的忠诚——

建文元年四月，朱元璋忌日将到，朱棣把朱高炽、朱高煦、朱高燧三个儿子都派到京师，让他们去祭祀他们的爷爷。

朱高煦身材高大，为人凶悍，徐辉祖一看那副模样，就心里咯噔一下，急忙密奏建文帝：“我这三个外甥，其他两个倒没什么，唯独高煦不是省油的灯，他勇猛剽悍，而且脑壳上有反骨，既不会忠于陛下，将来还会背叛他爹，日后定将成为大患。”

所以他建议把他留在京师，严加管束，千万别让他回去，不然就是放虎归山，而且他建议，要留就把他三个外甥全部留下。

徐辉祖之所以如此建议，是因为同样主张削藩的他知道朱棣早晚要反，在此之前就多次劝他早做准备，到了朱棣真反的那一天，那么他这个儿子，就会成为朝廷的大麻烦。

留还是不留，朱允炆却拿不定主意，问计于太常卿黄子澄，黄子澄认为这是毫无根据的怀疑，留下他们不但无益还有害。

朱允炆还是拿不定主意，又问徐辉祖的弟弟徐增寿，徐增寿说：“燕王先帝同气，富贵已极，何故反！”朱允炆不信徐辉祖的，却信了他弟弟。

后来，朱棣果然造反，作为前锋，朱高煦果然成为朱棣的主力战将和得力助手，也是给朱棣造反出力最多的人，果然给朝廷造成了大麻烦。

直到那时，朱允炆才后悔莫及，痛心疾首地说：“吾悔不用辉祖之言！”