日本国立大学起步于1886年建立的帝国大学。战后，在美国占领军指导下，日本政府进行学制改革，在原来帝国大学、官立大学的基础上，按照“一县一国立大学”原则，将各地的旧式学校、师范学校、农业、工业、商业等专门学校重组形成了多所国立大学。截至2016年10月1日，日本现有国立大学86所（其中包括4所仅有研究生院的大学），公立大学88所，私立大学600所，共计774所。
1970年前后，日本社会掀起大学改革之声。前文部大臣永井道雄曾经主张大学公社化，中央教育审议会的“四六报告”和OECD教育调查团报告书《日本的教育政策》也曾提出国立大学独立法人化的建议。20世纪80年代以后，在新自由主义思潮的影响下，日本政府开始大力推动行政、财政改革，缓和政府规制，大学改革作为行政改革的重要内容之一被列入议事日程。桥本内阁时期，教育改革被列入六大改革内容之一。1998年10月，中央教育审议会提出《关于21世纪大学愿景与今后改革方策》报告，强调21世纪的大学要提高大学的教育研究质量，在确保大学自主性基础上，建立教育研究体系的柔性结构，整备组织运营体制，建立多元性评价体系，实现大学教育研究的个性化。[4]
2002年，经过多次研究论证，小泉内阁最终决定推进国立大学法人化改革。2003年，日本国会通过《国立大学法人法》，并强调国立大学法人化“是明治以来日本大学史上的一大转折点”[5]。2004年4月1日，在日本政府的强力推动下，87所国立大学正式宣布转变为国立大学法人。法人化以后，国立大学作为独立经营实体，脱离国家行政机构系列，被赋予较大程度的人事、组织、财务等权力。文部科学省则作为主管机构，要求各国立大学按照6年为1期，分期制定具体改革目标和推进计划，进一步落实国立大学法人化的成果，并委托第三方机构定期进行绩效评价。2016年，在文部科学省对第一、第二中间期大学改革计划执行评估的基础上，正式开启第三中间期（2016—2021）计划执行。
日本国立大学管理模式来自欧洲，战后又深受美国自由主义管理思想的影响，但基本上是作为自治组织运转的。国立大学的组织结构一般由教育和经营相关的法律体系共同调整。国立大学法人化以后，教育公务员特例法不再适用。在教学层面，主要由学校教育法、大学设置标准、学位规则以及诸多具体标准加以规范。在经营层面，主要由国立大学法人法、地方公立大学独立法人法等调整。在大学内部，一般设有大学章程、学生规范、各学院、学科规则等。国立大学的院系设置基本按照传统学科分类模式进行设置，学科内部又分为学院（学部）和研究生院（大学院）两个层次。
日本宪法第23条明确规定保障学问自由。基于此，战后日本的国立大学基于大学自治理念，一般以教授会为中心开展各项教育研究活动。《学校教育法》（1947）明确规定了各级各类学校的校长、副校长、院长、教授会等设置方式与权限范围。《学校教育法》第93条规定：“大学为审议重要事项，必须设置教授会。”然而，对于何为重要事项，教授会的审议具有多大程度的决定权等，学校教育法没有具体规定。从实践情况看，各级大学基本上沿用惯例，各地大学的具体权限也差异较大。一般来说，许多明确规定校长拥有最终决定权的事项，实践中却往往被教授会予以否决。
战后日本大学的管理模式是以学院教授会为中心的自治模式，教授会在学校运转中具有广泛权力。与国外相比，日本国立大学的人才流动性较低。这一方面与日本企业、政府中流行的终身雇佣制度有关，另一方面也反映了国立大学的社会地位等。特别是从事大学管理的校长、副校长、院长等高级管理层人才，一般是从内部选任，大学内部论资排辈现象十分严重。美国的研究型大学一般本科学院规模较小，而以研究生院为中心。与之相比，日本的国立大学一般本科学院规模较大，而研究生院规模较小。对于一些大型国立大学来说，由于学院数量越多，校长往往难以在充分掌握学院情况的基础上发挥领导力，各学院的独立性较高。
国立大学法人化之前，依据《教育公务员特例法》（1949），大学教师作为国家特殊公务员的一种，大学校长直接由政府任命。大学教师等人事权由教师组成的评议会和教授会决定。依据该法，由校长、院长等组成的评议会选举产生新校长。教授会拥有选举院长、聘任教师的实际权力。对于教师聘用和升职等，由教授会设置的领导（院长等）向教授会陈述意见。对于校长或教师，非经评议会的审查结果，不得违反其意图而被转任、降职或免职。
2003年制定的《国立大学法人法》重新定位了国立大学校长、干部会、经营协议会、教育研究评议会、监事、校长选聘会议等机构的权力与义务。伴随着社会经济形势的急剧变化，日本政府广泛吸收产业界、知识界等意见，不断深化国立大学治理改革。2015年，日本再次修改《学校教育法》和《国立大学法人法》，进一步加强校长等管理层的权力，为改善国立大学治理环境提供制度支持。关于修改学校教育法的目的，文部科学省强调：“促进大学运营中校长领导力的确立等治理改革，在重新调整副校长、教授会等职务和组织规定的同时，采取实现国立大学法人校长选聘透明化等措施。”[6]