祖冲之的祖父名叫祖昌，任大匠卿，是主管建筑工程的高级官员。他外出勘察时，常常带祖冲之一起去。工地上有许多工匠，他们能算能画，祖冲之见了敬佩极了。

受到祖父的影响，祖冲之从小就对天文历法很感兴趣，他常常钻到父亲或祖父的书房找书看。一次，他看完汉代天文学家张衡写的文章后，走进爷爷的书房。爷爷指着一个半边白色半边黑色的木球问他：“为什么月亮会成这样？” 祖冲之歪着头想了想，答道：“我知道，张衡说月亮本身不发光，但朝着太阳的一面由于受到太阳的照射后，才把太阳光反射给地面，所以我们看到它有光亮。背着太阳的一面则没光亮，因此就像这个木球，一半白一半黑。”

爷爷高兴地说：“对！你再想想，月亮为什么有圆有缺呢？ ”祖冲之看着木球想了想，说：“人站在地球上正对着月亮发光的一面，就看到满月，侧对着发光的一面就是半月；侧得越多，见到的月亮就越小，成了月牙形……”

爷爷高兴得胡子都翘起来了，“你说得对！如果日月相对，地球在中间，太阳光被地球遮住照不到月亮上，会发生什么现象呢？”小冲之立刻回答：“月食！”

从这以后,祖冲之对有关天文的书产生了更加浓厚的兴趣，他一边看着书，一边转动着木球琢磨。

有一天，他听说有个叫何承天的朝廷命官研究天文很有成就，就缠着祖父去拜访。何承天见他对天文这么感兴趣，便说：“孩子，研究天文很辛苦，既不能升官，也不能发财，何苦呢！” 祖冲之回答说：“我不想升官发财，只想弄清楚天地的秘密！”

一番话说得何承天眼圈都红了，从此以后便悉心教导祖冲之。