秦始皇后妃妻妾成群，因而也子女成群。依据宗法家庭制度，作为父家长，他有权主宰子女的一切，包括婚嫁。于是，他又通过安排子女的男婚女嫁，缔结了一批姻亲。
秦始皇共有子女数十人之多，准确数字不详。其中“有二十余子”。皇子姓名见于历史记载的有四人，即长子扶苏、公子将闾、公子高和胡亥。第十八子胡亥后为秦二世。公主则不少于十人。
秦始皇与儿子们的关系，可以确知者有三件事：其一，秦始皇不封诸子，父子君臣关系相对简化。其二，长子扶苏备受器重，地位特殊，后因劝阻“坑术土”受到斥责，派遣到上郡监兵。秦始皇临死命其会葬咸阳。
其三，第十八子胡亥受到宠爱，秦始皇为其安排师傅，修习法律，又携他一起出巡，使之得以篡夺皇位。其中第一件事标志着秦始皇对帝王家庭关系的一大变革，也是秦朝所特有的政治现象。
秦始皇彻底废除分封制度，坚决贯彻功勋爵制度，不仅功臣及宗室的公子王孙，就连自己的皇子皇孙也概不例外。他没有封赐诸子尺土寸地，只是对子孙、亲属实行“以公赋税重赏赐之”的政策，让他们安享富贵荣华。
临终时，他依然“无诏封王诸子”。秦始皇的这个行为旨在维护一种他认定合理且亲自制定的制度，与其个人的权力欲并无直接关系。从文献记载看，秦始皇在世时，皇子皆称“公子”,都没有贵族头衔。除地位特殊的长子扶苏外，其他皇子一律没有官衔。
对此，当时一些人就颇有微词。后世的绝大多数儒者及一些旧史家和政论家也认为这是秦始皇贪图个人权势而导致的失策乃至无道，甚至将这列为秦朝亡国之因。其实秦始皇这样做，与其说是主要出于对个人权势的关切，不如说是探索“安宁之术”, “而求其宁息”的结果。
在当时的历史条件下，适度分封子弟以体现其贵族地位或许是更有利于秦朝统治的长久之计，然而秦始皇的做法与汉唐宋明诸侯王仅食租税的制度没有太大的差别。在“家天下”的时代，秦始皇这样做对制度之“公”是有所贡献的。在秦始皇在位期间，君臣父子之间大体相安无事，也得益于这种政治安排。从今天的角度看，秦始皇的做法颇有值得肯定的地方。
或许正是由于“子弟为匹夫”,诸子不参与政治，父子君臣之间的关系相对简化，所以历史文献没有留下有关秦始皇与其诸子之间发生权力之争和皇子受到处罚的记载。秦始皇在世期间，除地位特殊的长子扶苏因劝阻“坑儒”受到斥责外，也没有皇子皇孙过问政治的现象。
秦二世将十几位兄长一网打尽，赶尽杀绝，竟然没有遭到有力的反抗，这也与皇子无权无势有直接关系。但是，汉高祖以秦始皇为教训，大封宗亲诸子，使他们有权有势，不是照样引起了骨肉相残吗?在当时的历史条件下，处理受君臣关系制导的亲属关系是很难找到万全之策的。
在诸子中，唯一受到秦始皇重用的是长子扶苏。首先，依据宗祧继承制度，长子是名正言顺的皇位继承人，立嫡立长是最高权力平稳传承的最佳选择。秦始皇是计划让扶苏接班的，他的选择符合公认的政治准则。
其次，扶苏的政治素质很高，也博得父皇的赏识。在赵高看来，在秦始皇的二十多个皇子中，扶苏的政治素质最高，他品格高尚，知人善任，能够赢得士人的忠诚。从扶苏的作为看，他很有政治眼光， “数直谏上”,符合忠臣孝子标准。再次，秦始皇付以重任。
秦始皇令蒙恬北御匈奴而扶苏为监军。扶苏是最受赏识的皇子，蒙恬是最受信任的将领，秦始皇把秦朝最精锐的边防军托付给他们，这是莫大的信任。正如蒙恬所说： “陛下居外，未立太子，使臣将三十万众守边，公子为监，此天下重任也。”
由此可见，这对君臣父子的关系相当好。如果在寻常百姓家，他们的父子关系状况应当属于相当好的。
秦始皇早就在内心中选定了扶苏。他对扶苏情有独钟，在政治结构中给予特殊安排，使之在诸子中一枝独秀，这便是明证。
可是，秦始皇在处理父子关系时犯了一个致命的错误：没有及时明确扶苏的太子地位。一个历史的偶然，使赵高的夺嫡阴谋得逞。它成为导致秦朝速亡的最重要的原因。
秦始皇为什么会犯这个错误?学者们有各种猜测。贪恋个人权势?自信长寿成仙?扶苏之母不受宠爱?不满扶苏直言强谏?痛感扶苏政治上不够成熟?无论如何，都与父子关系受君臣关系制导有关。
在中国古代国家，选立嗣君是至关重要的国家大事，属于最棘手的政治难题之一。无论早立或迟立，立嫡或选立，不立或改立，都有可能引发严重政治问题。秦始皇迟疑不决，结果当断不断，反受其乱。他刚刚告别人世，便祸起萧墙，诸子及其子孙几乎被小儿子胡亥屠戮殆尽。这是后话。
作为家长，秦始皇有权决定子女的婚配，所谓“父母之命，媒妁之言”。秦始皇子女的婚姻都属于政治联姻。其中，最重要的姻亲是秦始皇的主要辅臣李斯，史称李斯“诸男皆尚秦公主，女悉嫁秦诸公子”。其次是王翦，他也是秦始皇最得力的助手，在统一战争中功勋最大，封爵最高，朝班也名列第一。
关于华阳公主下嫁王家，历史传说留下了一段佳话： “华阳在富平县东南三十里。始皇二十二年，李信伐楚败归。时王翦谢病家居。始皇疾驾人频阳，手以上将印佩翦身，授兵六十万。后三日，翦发频阳。始皇降华阳公主，简宫中丽色百人为媵，北迎翦于途。诏即遇处成婚。翦行五十里遇焉。列兵为城，中间设锦幄，行合卺礼，信宿，公主随翦入都。诏频阳
别开主第。今名相遇处为华阳。”
秦始皇巡游四方，带着部分妻妾，她们可能也携儿带女，或途中生儿育女。因此，有关于秦始皇东巡时所死之女的传说： “女陵山在(曲阜)县北二十里。《太平寰宇记》:相传秦始皇东巡，女死，葬此。”
经秦二世、项羽两度大屠杀，秦始皇的子孙几乎损失殆尽，但是他的血统有可能通过各种途径传之久远。据说，公子扶苏的一枝苗裔辗转流亡到日本，以养蚕为业，且人丁兴旺。