建文四年（1402年）正月，朝廷命徐辉祖带兵北上[25]。四月，与燕军大战于宿州灵壁县西南三十里的齐眉山，南军获胜，斩杀燕军骁将、蔚州卫千户李斌等。南军再次获得胜利，再加上暑热，燕军陷入窘境。[26][27][28]
这时，朝廷讹传燕军已兵败，京师不可无良将，遂召回徐辉祖（一说是有人进谗称徐辉祖因燕王是至亲之故而未尽力作战[29]）。淮北的何福、平安等中央军因此势孤而大败。[30][31]
等到燕军准备渡过长江时，徐辉祖仍率军在浦子口（今江苏南京浦口区）迎击，成功阻击燕军[32]。南军大将盛庸再战，遭遇大败，水师尽归于燕军，燕军于是得以渡江，攻克南京金川门（有说法认为此时徐辉祖还与开国公常升在金川门带兵抵抗[33]），入主南京。[34][35]
锢居私宅
徐辉祖像
朱棣入南京后，徐辉祖留在父祠，不肯迎接朱棣，被下狱审问[36]。朱棣亲自召见询问，徐辉祖一言不发，始终没有推戴朱棣称帝的意思。法司逼迫他招供，徐辉祖振笔直书：“中山王开国功臣子孙免死。”朱棣大怒，想要诛杀他，因其是元勋之后，且身为国舅，这才作罢。[37]
之后，朱棣勒令徐辉祖返回私宅，革去他的俸禄和爵位[37]。一说在此后不久，徐辉祖被下狱禁锢。[1]
死后哀荣
永乐五年（1407年），徐辉祖病逝[38]，一称被勒令自裁，年约四十余岁[39][1]。一个多月后，朱棣以“中山王（徐达）不可无后”为理由，命其长子徐钦继承魏国公。[40]
万历四年（1576年），明神宗下诏录建文忠臣，在南京设表忠祠，以徐辉祖居首。[41][42][43]
崇祯十七年（1644年）九月（一作十二月[44]），南明朝廷追赠徐辉祖为太师，谥号“忠贞”。