羊祜出身名门，但十二岁时父亲就去世了，羊祜为父亲守孝远超一般的礼制要求，后来他侍奉叔父羊耽也很恭谨。

羊祜小的时候曾在汶水河畔游玩，遇到一位老人对他说：“你这孩子相貌不凡，不到六十岁，必然为天下建立大功。”说完即离去，不知去向。

羊祜长大以后身长七尺三寸，容貌端庄秀美，学识渊博，善于言谈。同郡将领夏侯威认为他是个奇才异人，便将哥哥夏侯霸的女儿嫁给了他。羊祜曾被推荐为上计吏；州官四次征召他做从事(9)、秀才；朝中五府都征召他做官，但他都拒绝就职。太原的郭奕曾评价他说：“这真是当代的颜回啊！”

他和王沈都曾被曹爽征召过，王沈劝他应召，他说：“豁出身家性命去侍奉别人，不是容易的事啊！”后来曹爽被杀，王沈因某些原因得免于祸，因而对羊祜说：“我常常记着你以前说的话！”羊祜说：“我当时也没有想到曹爽有这种下场。”羊祜就是这样有先见之明而又不夸耀自己的人，因为这种品质，羊祜成为受许多人爱戴的一代名臣。