赫尔巴特1776年5月4日出生于德国西北部小城奥尔登堡，是家里的独生子。

赫尔巴特的祖父是当地颇有声望的医生，还曾担任当地文科中学的校长；父亲曾经是律师，后来升为枢密院顾问官，母亲美丽聪慧且具有深厚的文学修养。赫尔巴特少年时在语言和逻辑方面已表现出一定的天赋，母亲虽然对赫尔巴特十分疼爱，但她并没有放松对儿子的教育和严格要求。她请了一位很有学问的家庭教师——沃尔夫学派的哲学家于尔岑，在母亲和家庭教师的精心培养下，赫尔巴特接受了严格的德国古典教育，在数学、语言、逻辑和哲学等诸多方面表现出色，并且多才多艺，学习了钢琴、小提琴等四种乐器与谱曲，11岁已能登台演奏钢琴。12岁那年，赫尔巴特进入奥尔登堡文科中学二年级学习，并在学校里显示出耀眼的才能。学校对他的评语是：“赫尔巴特始终以守秩序、有良好的操行、学习用功和顽强著称，并且通过孜孜不倦的学习使他自己出色的天赋得到了发展与训练。”③13岁时，他写下了自己的第一篇哲学论文《论人类道德的自由》,16岁开始研究康德的思想，17岁时，他为毕业班的同学作了一场哲学方面的报告，题目为“略论一个国家中道德兴衰的一般原因”。这一报告受到了好评，并被刊登在当地一家地方杂志上。在毕业时，他用拉丁语作了演讲，对西塞罗与康德的至善观念与实践哲学原理作了分析比较，深受赞许。

赫尔巴特幼年曾不慎跌进沸水桶中并被灼伤，以致童年时期身体一直很虚弱，对各种剧烈的户外活动更是极少涉足。为了不让独生子孤独无伴，赫尔巴特的母亲领养了一名比儿子小一岁的侄女。尽管如此，赫尔巴特的童年总体来说还是比较沉闷的。或许，正是这种沉闷的生活，给了这个孤独者以无限的遐想空间和发展内心世界的机会。我们可以想象，身体羸弱的小赫尔巴特，静静地坐在窗后发呆。在这种状态中，思维毫无局限地穿越一切障碍，锐利的眼睛不动声色地从最细微的地方观察这个世界还有他自己。在羸弱的身体里面，强大的精神得以爆发出一种异乎寻常的力量。19岁时赫尔巴特便熟读了当时著名哲学家谢林和费希特的著作并提出疑义：他反对费希特所谓“自创自己世界”的观念，认为人们本身不可能创造自己世界，而要依赖外在世界(如家长、教师等)的影响，才能形成自己的世界。显然，此时他的思想已能深悉自己的心理过程，而且具有独特的见解。