耶律倍虽然主动把皇帝的宝座让给了弟弟，可是弟弟耶律德光继位后，仍担心哥哥耶律倍会和自己争夺皇位，并处处提防。

公元928年，耶律德光趁耶律倍离开东丹国留住皇都，把距离契丹国较近的东平郡提升为南京，作为东丹国国都，并将东丹国内的百姓人口大量迁移到南京。随后，又故意表示尊崇，给耶律倍增加了仪卫规格。此举不但减少了耶律倍统治的人数，还缩小了东丹国的领地，而所谓的“仪卫”也不过是用来监视耶律倍行踪的借口。实际上，此时的耶律倍已经被耶律德光软禁了。

为了打消弟弟的戒备，耶律倍写了《乐田园诗》，以表达自己无意权位的心思，并把全副精力投入在读书、作画中。他在北镇医巫闾山建了一座规模宏大的望海堂藏书楼，在南京西宫建了藏书阁，其中的藏书达万余卷。

在医巫闾山时，耶律倍用狩猎、作画来打发时间，其间还结识了北镇汉族女子高云云，并把她立为妃子。后来由于大雪封山，行动不便，耶律倍又将自己的一部分书籍搬到观音阁阅读。

尽管耶律倍做到了这一步，可耶律德光仍然没有放过他。耶律德光先后两次亲自前往耶律倍的府邸，对耶律倍的僚属大行拉拢宴请，以此来加强对耶律倍的控制。

耶律倍的处境很快就传到后唐明宗李嗣源的耳朵里，他立即派人去请耶律倍到自己的国家。公元930年十一月，当后唐使节到东丹国请耶律倍时，深受汉文化浸染的耶律倍对侍从说：“我把天下都让给了我的弟弟，却还是遭来猜忌；不如远走他乡，成全他的吴太伯(12)之名。 ”

于是，耶律倍带着自己的妃子和喜欢的书籍，渡海投奔后唐。临走时，耶律倍在海边竖了一块木牌，上面刻着一首诗：“小山压大山，大山全无力。羞见故乡人，从此投外国。 ”短短数句，便道出了兄弟间残酷的政治斗争。