康熙时，一姓隋的江宁织造在南京小仓山北坡造成一座花园，内种楸树、桂树各千株，号称“隋园”。一时城中士子往来不绝，堪称盛事。

30年后，袁枚任江宁知府，“隋园”已破败不堪，袁以300两银子买下。他修整门墙、改建楼阁，因地制宜，在高处造望江的小楼；在低处置临溪的亭子；在涧水上架小桥；在水浪湍急处备放小船；又依地势之高低与角度之不同，点缀假山岩石；顺平坦而树木蓊郁处构造或东北或东南朝向的屋子。整个园子沿势设景，不使景物的气脉受阻断，因更名为“随园”。既沿用了旧园名的读音，又突出了因势造园的“随”字。

随园造好后，袁枚感慨地说：“如果当官时居于此，疲于公务，最多每月住上一回；若是纯粹住家，那便可天天饱餐秀色。二者不可兼得，还是舍弃官位而在园中居住吧！”于是袁枚便称疾辞官，率弟袁树、外甥湄君，把书籍搬至随园中住下来。