龙场在贵州省西北部，受中央朝廷任命的宣慰使管辖。龙场周边都是大山，荆棘密布，蛇虺魍魉横行，蛊毒瘴疠肆虐。当地土著居民有自己的语言，外人根本听不懂。言语相通者，大都是来自中土的亡命之徒。龙场中人大多没有像样的居所，只能堆起个土包，栖居其中。

王阳明来到龙场之后，为了教会当地百姓盖房子，亲自挖地基、垒墙、架木为梁、割草盖屋顶等，最终自己盖成了一栋小屋。当地民众纷纷效仿，于是才有了类似于中原的房子。

后来，当地百姓见王阳明的居所潮湿简陋，于是就一起凿岩伐木，给他建了更为宽敞的住所。先后有了寅宾堂、何陋轩、君子亭、玩易窝等建筑，统称为“龙冈书院”。王阳明在书院周边种上了竹子、花卉和草药等，整日在其中吟诗作赋，并渐渐地学会了当地的语言。王阳明开始教授当地百姓礼义孝悌的思想，影响越来越大，后来很多其他地方的夷人也都跑来听他讲学。阳明先生耐心地开导他们，从不会觉得厌烦。

过了一段时间，王阳明收到一封家书，其中写道：

逆瑾闻先生不死，且闻父子相会于南都，益大恚忌，矫旨勒龙山公致仕还乡。

自此，王阳明对父亲的担心就更加强烈了。