“乐府”作为一种音乐机构出现，最早可以追溯到秦朝。

秦始皇统一六国之后，从各地俘虏了大量的乐工和舞女，各地音乐和秦国的音乐开始出现碰撞和交流，这是乐府的创立的重要现实基础之一。总体来说，乐府在秦朝时期还处于发展的起步阶段，无论在规模、建制还是职能方面，都没有形成大的气候，直到汉代，乐府才走向了繁盛。

汉武帝对乐府进行了明显的扩建和改良，任用了大量的乐府人员，同时从赵、代、秦、楚等多地采集民歌。在汉武帝时期，李延年任职乐府的最高领导人，他出生在中山，也就是今天的河北定州市，父母及兄弟都精通音乐，算得上一个音乐世家。年轻时，李延年因为犯法被处以宫刑，成为一名太监，之后被分到汉宫里面管狗。由于精通乐律，善于歌舞，李延年很快就受到了汉武帝的注意和喜爱，而他的妹妹在之后不久也受到了汉武帝的宠爱，并被立为夫人。最终，李延年被封为“乐律都尉”，专门负责乐府的管理工作，对当时的民间乐舞，乃至整个汉代音乐的发展起到了巨大的推动作用。在任职乐律都尉期间，李延年对乐府搜集的大量民歌进行了加工和整理，并谱以新曲；他善于歌唱和作曲，每次改编乐曲，听众没有不被他的音乐感动的；他曾经作十九章《郊祀歌》，被用于皇家祭祀，也曾对张骞从西域带回的佛曲《摩诃兜勒》重新改编，随即将它用为乐府的仪仗之乐。遗憾的是，太初年间，因弟弟李季在后宫作乱，李延年被汉武帝处死。

汉代乐府的主要任务和职能，可以概括为两个方面。一是采集民歌，对民歌进行加工和配乐，以此丰富汉代音乐，同时也可以借此观察各地风俗，了解民情；二是创作编写乐曲，将当时文人创作的一些歌功颂德的文章谱成乐曲，并进行演奏，而其中会涉及曲调的改编，以及音乐理论的研究和梳理。汉乐府搜集的西汉民歌有一百六十多篇，今天得以保存的有六十余首，尽管留存不多，但其中的《战城南》《东门行》《十五从军征》《陌上桑》《孔雀东南飞》等，均是极其优秀的音乐作品。以《孔雀东南飞》为例，这部作品描述了汉末庐江府小吏焦仲卿和他的妻子刘兰芝之间的一段爱情悲剧，控诉了封建礼教对爱情的扼杀和戕害，故事完整，结构紧凑，是汉乐府民歌中的杰作，并在日后被改编成多种不同的音乐类型，广为流传。

汉成帝时期，乐府的规模达到了空前的地步。据桓谭《新论》记载，桓谭在孝成帝（即汉成帝）时期曾经担任过乐府令，他估计当时乐府内的工作人员大概有一千多人。而根据《汉书·礼乐志》中的相关记载，当时的人数达到了八百余人。这样的规模已经足以和周代的音乐机构大司乐不相上下。

汉武帝到汉成帝时期，是汉乐府最繁盛的时期。公元前7年，汉成帝驾崩，汉哀帝刘欣继承皇位。汉哀帝生性不喜欢音乐，即位不久便下诏裁撤乐府内的工作人员。乐府中的一部分人被直接罢免，另一部分则被调往当时的音乐机构太乐。“乐府”作为一个音乐机构由此消亡。

乐府的建立，主要是为了满足统治阶级的享乐需求，但客观上也对民间音乐的保存和各地音乐的发展起到了积极作用。汉乐府虽然最终走向消亡，但对后世的音乐机构产生了很大影响，隋朝依旧存在“乐府”的称谓，唐代虽然没有“乐府”之名，但教坊和梨园等机构，依旧留有“乐府”的影子。