据《阳明先生行状》记载，在湛甘泉离开京城一年之后，即正德七年（1512）冬，黄绾也因病返乡。王阳明特意写了诗文送别，还委托黄绾在天台山和雁**山附近购置土地，修建房屋，以便以后一起养老。王阳明和黄绾的故乡同为浙江，而天台山和雁**山正是浙江的两座名山。
在隋代，天台宗的开宗祖师智大师曾在天台山传教，于是天台山声名大振。雁**山则是自宋代开始出名，由南雁**山、中雁**山和北雁**山组成，其中尤以北雁风景最佳。雁**山诸峰林立，奇峭险怪，在顶峰有一个方圆数十里的大湖，湖水常年不枯竭，每当春天来临，必有大雁飞来嬉戏，故取名雁**山。雁**山中大小瀑布不可胜数，其中最大瀑布的落差多达数十丈，有“飞流直下三千尺，疑是银河落九天”之势。无怪乎有人会称赞道“天下奇秀莫出于此山”。
王阳明在《赠别黄宗贤》（《王文成公全书》卷二十）一诗中写道：
古人戒从恶，今人戒从善。从恶乃同污，从善翻滋怨。纷纷嫉媢兴，指谪相非讪。自非笃信士，依违多背面。宁知竟漂流，沦胥亦污贱。卓哉汪陂子，奋身勇厥践。拂衣还旧山，雾隐期豹变。嗟嗟吾党贤，白黑匪难辨！
诗中“拂衣还旧山”一句其实是在夸赞黄绾敢于抛弃俗学，立志于圣学，并且笃志于圣贤之道的勇气。
此外，王阳明还在《别黄宗贤归天台序》一文中写道：
君子之学以明其心。其心本无昧也，而欲为之蔽，习为之害。故去蔽与害而明复，匪自外得也。
心犹水也，污入之而流浊；犹鉴也，垢积之而光昧。孔子告颜渊“克己复礼为仁”，孟轲氏谓“万物皆备于我”“反身而诚”。夫己克而诚，固无待乎其外也。
世儒既叛孔、孟之说，昧于《大学》“格致”之训，而徒务博乎其外，以求益乎其内，皆入污以求清，积垢以求明者也，弗可得已。
王阳明在后文中写到，每当看到黄绾如饥似渴地听讲的样子，他都会觉得“吾党之良，莫有及者”。
在文章的最后，王阳明又写道：“谢病去，不忍予别而需予言。夫言之而莫予听，倡之而莫予和，自今失吾助矣！吾则忍于宗贤之别而容无言乎？宗贤归矣，为我结庐天台、雁**之间，吾将老焉。终不使宗贤之独往也！”
王阳明在文中吐露了自己对黄绾的深切惜慕之情。
在上文中，有两点值得注意。一是王阳明认为理皆归于“吾心”，并且将“克己去欲”等去除遮蔽本心障碍的实践功夫比作“磨镜”。王阳明返京之后，特别重视这一实践功夫，并且要求弟子去修行这一实践功夫。二是他明确指出一直以来的“格物致知”说是错误的，但没有直接点明错误的“格物致知”说其实就是指朱子学中的“格物致知”说。
黄绾回到天台之后，王阳明还不忘通过书信继续对黄绾施以教诲，据此我们也可以窥见王阳明在提出“致良知”说之前的学风是怎样的。
对于黄绾，在此稍微多介绍一点。黄绾后来屡获拔擢，最终出任礼部尚书兼翰林院学士，后致仕返乡。黄绾和桂萼曾是挚友，在王阳明去世之后，桂萼上疏对王阳明加以批判。黄绾见此情景，也立即上疏替王阳明辩护：“臣不敢阿友以背师！”
此外，他还宣传王阳明的“致良知”说：“致良知之说实乃依照古之圣贤之言作成，即‘致知’出于孔子，‘良知’出于孟子。”
前文已述，黄绾为了保护王阳明的幼子王正亿，将自己的幼女许配给他。
在长年的交往中，黄绾与王阳明结下了真挚的友谊，且他也一直宣扬王阳明的“致良知”说，但是在晚年，黄绾一改自己的主张，开始批判王阳明的学说。
黄绾著有十二卷的《明道编》，从中基本可以了解黄绾批判阳明学的概要。黄绾在晚年向弟子们讲学时，不仅批判阳明学，对湛甘泉的学说也给予批判，他指出：“予尝与阳明、甘泉日相砥砺，同升中行，然二公之学，一主于致良知，一主于体认天理，于予心尤未有莹，乃揭艮止、执中之旨，昭示同志，以为圣门开示切要之诀，学者的确功夫，端在是矣，外是更无别玄关可入也。”
“艮止”是《周易》中的概念，意指在该“止心”时应该让心保持静止，不要有任何的活动。“执中”是《尚书》中的概念，意指要恪守中庸之道，不要“过犹不及”。
此外，黄绾还指出：
予昔年与海内一二君子讲习，有以致知为至极其良知，格物为格其非心者。又谓格者，正也，正其不正，以归于正。致者，至也，至极其良知，使无亏缺障蔽。以身、心、意、知、物合为一物而通为良知条理。格、致、诚、正、修合为一事而通为良知功夫。又云，克己功夫全在格物上用，克其己私，即格其非心也。又令看《六祖坛经》，会其本来无物，不思善，不思恶，见本来面目为直超上乘，以为合于良知之至极。又以《悟真篇后序》为得圣人之旨。以儒与仙、佛之道皆同，但有私己同物之殊，以孔子《论语》之言，皆为下学之事，非直超上悟之旨。
予始未之信，既而信之，又久而验之，方知空虚之弊，误人非细。信乎差之毫厘，谬以千里，可不慎哉！
在上文中，黄绾对王阳明进行了激烈的批判，批评阳明学最终陷入禅学之弊。此外，黄绾还评价阳明学是：“实失圣人之旨，必将为害，不可不辨。”
为何黄绾在晚年要对王阳明的“致良知”说提出批判呢？这是因为阳明门下的良知现成派末流抛弃了阳明学的主旨，渐渐陷入流弊。王阳明去世之后，黄绾其实非常尊崇王阳明，不仅为“致良知”说辩护，还大力宣扬“致良知”说，后来由于担心阳明学支流的弊害，于是一改主张，开始批判阳明学。