到了元朝后期，朱元璋率领的农民起义军平定了婺州后攻克越州，并屯兵枫桥九里村，朱元璋因闻得王冕的大名，便派大将军胡大海去请隐居的王冕出山，准备授予王冕咨议参军的职务。

王冕得知朱元璋要请自己做官，非但没有欣然接受，反而带着一家老小收拾东西连夜逃到离九里村三十里之遥的赵家镇赵家新村躲了起来。

赵家新村的村西有一座酷似大象和一座酷似狮子的山。此前，王冕曾多次到赵家镇的上京村荐福寺山上拾花乳石，作为治印的材料。因此，他对这一带的地形非常熟悉。

逃到这里的王冕和妻小在象鼻洞口内支起一根木柱，在洞顶又架起一根横梁，还在洞口反搭起一张草坡，取名“一柱屋”，在山洞里过起了拒官生活。

尽管王冕躲到了象鼻岩山的洞中，但是胡大海还是带着朱元璋的委任状，把王冕的躲藏地点找到了。但是，胡大海来到象鼻岩下时，却看到洞上挂着一块木匾，上面写着“白云庵”三个大字。一推开洞门，只见王冕双目微闭，双手合十，正襟危坐在一个蒲草团上，口中还念念有词。

见此情景，胡大海便明白了王冕的意思，王冕这是表示自己已经出家了，出家人四大皆空，自然不可能去给朱元璋当什么咨议参军。