出来以后，徐渭赶紧到处旅游了几年，等到玩够了，他开始吃老本。绘画功底让他晚年可以卖画为生，但因为这一生吃了太多体制的苦，所以他从不为当政官僚作画，“有书数千卷，后斥卖殆尽。畴莞破弊，不能再易，至借稿寝”，常“忍饥月下独徘徊”，杜门谢客。60岁时，徐渭应张元忭之招去北京，不过，很快两人的关系就恶化了。据张岱的记叙，张元忭是个性格严峻、恪守礼教的人，而徐渭却生性放纵，不愿受传统礼法的束缚。张元忭常常以封建礼教制约徐渭，这使徐渭大为恼火，文人最讨厌被别人指手画脚的生活。他曾对张元忭说：我杀人当死，也不过是颈上一刀，你现在竟要把我剁成肉糜！由于和老朋友的交恶，加上与官僚们交往受到不平等的对待，使徐渭情绪郁愤，旧病复发，便于居京3载后重归家乡。此后，徐渭就再没有离开过山阴。晚年乡居的日子里，徐渭越发厌恶富贵者与礼法之士，所交游的大都是过去的朋友和追随他的门生。据说有人来访，徐渭不愿见，便手推柴门大呼：“徐渭不在！”这样的偏激性格，加上不善理财，虽然他在江湖上名声很高，但一生也没治下产业，钱财随手散尽，没钱了继续卖字画度日。但手头稍为宽裕，便不肯再作。倒是一班门生和晚辈的朋友，或骗或抢，常常得到他的杰作。这样的环境，自然摧毁了他的身体。最后几年，徐渭身患多种疾病，大约画也不能常作，生活更为贫苦。最后他在“几间东倒西歪屋，一个南腔北调人”的境遇中以72岁高龄结束了一生。死前身边唯有一狗与之相伴，**连一铺席子都没有，凄凄惨惨。