高力士祖籍潘州，本姓冯，为冼夫人的第六代孙子。他父亲原是潘州刺史，后来受人诬陷，高力士也被株连，幼年时被阉割送进宫。年幼的他被武则天看中，并安排在身边。然而没过多久，却又因犯错而被驱逐出宫。在宫时，因为与高延福很亲近，所以高延福把他收为螟蛉(47)，取名力士。

高力士被逐出宫后一年，又被招入宫中。有了上次的经历，高力士变得更加谨慎。不久，高力士便结识了当时正任职别驾的李隆基。初见时，高力士便觉得李隆基气度非凡，而且颇有见识，于是就一心一意辅助李隆基。李隆基果然不负所望，在高力士等人的协助下平定了韦后之乱和太平公主之乱，并顺利登基，开启了开元盛世。自此高力士便得到李隆基的宠信，官至骠骑大将军，权倾朝野。李隆基甚至说，只要有高力士在，很多事情都不用自己亲自处理。

一次，李隆基在五凤楼宴请群臣。百姓都想一睹龙颜，便都挤在一边看热闹。可是百姓们的喧哗打扰了李隆基和群臣，李隆基对此很不高兴。这时候高力士提议说，严安之执法严格，百姓们对其很是敬畏，可用他来维护现场秩序。李隆基同意了，派严安之过来维持秩序。严安之到后，在场地外画了一个圈，并对外宣布：“越此界者死。”在场的百姓真的就没有人敢越过这条界线了。就这样，李隆基与群臣度过了愉快的三日。