因日本战前曾对大陆进行侵略扩张之故，提起日本的武士乃至武士道，中国人大多略知一二，但其起源，甚至连日本的专业学者也是推测。从语义上讲，大约10世纪以后，以作战为职业的“兵（つわもの）”、保护达官贵人的“侍（さむらい）”、以武力服务官衙的“武士（もののふ）”逐渐合流，成为后来的武士阶层。“武士”一词最早出现在《续日本纪》养老五年（721）正月二十七日条“诏曰文人武士国家之重”，但这里的“武士”是与文官相对的武官。

日本古代早期的军事组织详情不得而知，据说在3世纪到7世纪的古坟时代专门有以武力为大王服务的氏族集团，例如大伴氏、物部氏等，其含义就是随时跟在大人物后面、拿着硬家伙的保镖。6世纪中期，物部氏取代在朝鲜半岛用兵失利的大伴氏成为大和国最高武装力量首脑，其率领的部民主要担任军事、刑罚、牢狱等事务，因而“武士”的语源来自于“物部（もののべ）”。想来其战斗力也不是很强，否则掌握国家钱袋子的苏我氏怎么会轻而易举地解决了物部氏。

在7世纪中期大化改新后的律令体制下实施模仿唐朝府兵制的军团制度。当时1／3的21—60岁成人男性服兵役，每个国组成一个1000人的军团，每年1／4的士兵接受军事训练。经过训练的士兵到京城担任一年警卫，称“卫士”，另外还有士兵到九州大宰府担任三年的海岸警备，称“防人”。尽管免除税收、徭役，但需要自己筹措武器、饭费和一部分旅费，负担沉重。“防人”多出身关东地区，路途遥远，滞留九州不能回乡者为数甚多。正如其名字来自唐令一样，其结果也多如唐朝的边塞诗，“古来征战几人回”？

在8世纪的奈良时代，天皇朝廷经常对东北地区的虾夷族进行战争，征集1万人以上编成一军时设置征夷将军为统帅，三军以上则设征夷大将军为统帅，天皇授予象征军事大权的节刀。最初的征夷大将军是出身大陆的渡来人坂上田村麻吕，时为800年。尽管对虾夷战争结束后天皇收回其称号，但后来武家政权时均以此称号作为权力的象征。

8世纪末桓武天皇时期，外来压力减弱，而且农民出身的士兵素质低下，结果军团制被废除，另设“健儿制”。也就是实施志愿兵制，主要由20—40岁的郡司子弟和富裕农民组成，擅长骑马射箭。按照国的大小和治安的需要每个国20—200人不等，负责国府的警备和地区的治安。792年时，全日本共有3155名健儿兵。免除他们的赋税、徭役，集中居住在国府的健儿所中。

班田制在实施不久就趋于崩溃，主要原因是土地紧缺。为鼓励开荒，朝廷在723年宣布了“三世一身法”，以此鼓励开垦荒地。即规定新垦生荒地，可传三代，而后归公。开垦熟荒地，开荒者本人享受一生，死后归公。该措施收效不大，因为随着归公期限的到来，土地会重新变为荒地。因此，朝廷在743年颁布“垦田永世私财法”，即根据身份地位，开垦一定数额的土地可永久私有。身份最高的贵族可开垦500町步，普通农民可开垦10町步。开垦的土地作为私有财产，慢慢变成庄园，所有者成为领主。为保护自己的财产，这些开发领主或武装庄民，或雇佣武人，并逐渐出现舞刀挥棒的武人。

律令体制下，京城的警备组织有令外官的左右近卫府、令制官的左右卫士府（811年改为左右卫门府）及左右兵卫府，大约有2800人的兵力。810年“药子之变”后，在左右卫门府内设置“检非违使”，担当京城警备、防盗、追捕违法者等警察机能。824年，该机构独立，职权增强，活动范围也逐渐扩大到救济、地方追捕等领域，吸收地方武人为成员。作为令外官，“检非违使”由天皇直接任命，既是武士十分向往的职位，又为武士参与中央政治提供了途径。地方也是如此，作为警察机构的国府三司——检非违使、押领使、追捕使为应对时常出现的治安问题，其成员也多为武人。

实际上，武士的真正起源是：贵族们为争权夺利，拼命嫁女儿给天皇，于是皇子皇孙成群。为维持生计，赐姓降为臣籍，发放地方做官。任期届满也不能回京城，而是开垦或圈占土地。除自己演练武艺外，更是养兵自重，遂成为一方诸侯。例如桓武天皇曾孙高望王获姓平氏，作为上总介（今千叶县中部，介为国的副职）赴任关东，其子孙遍及关东，形成诸多小武士团，称为“坂东八平氏”。大概在同一时期，清和天皇第六子贞纯亲王之子经基王获姓源氏，在939年作为武藏介（今埼玉县和东京都）赴任关东。按照惯例，上总、上野（今群马县）、常陆（今茨城县）三国均由皇族亲王担任国守，但亲王通常不到任，因而最高长官为帮忙者“介”。

通常是一个骑马的武士有三个步行的仆人，因为需要一个人扛刀枪、一个人拿铺盖卷、一个人捧饭盒……

平氏家族第三代平将门年轻时曾上京服务摄关家族，后因领土纠纷在935年杀其叔父国香，同时将另外一个叔父良兼打得落花流水，并阴差阳错地将刚刚到达任所的源经基吓回京城。将门干脆一不做二不休，借机袭击常陆国府，赶走上野、下野（今栃木县）国守，将关东地区作为独立王国，自称“新皇”。惊慌失措的朝廷派遣67岁的藤原忠文为征东大将军讨伐将门，但大军尚未到达之际，国香之子贞盛已将即位才两个月的新皇将门射死。将门之头挑到京城示众，但据说很快自己飞回关东，落在今东京都千代田区大手町，并时常出来作祟，周围居民只好修塚供奉。1923年东京大地震后政府平其塚，建大藏省临时官舍，结果包括大臣在内的10多位高官连续病逝或死于非命，只好恢复原貌。占领时期美军准备在该处建设停车场，但推土机手在作业中莫名其妙地死亡，计划只好不了了之。周围著名的大企业每逢新年，必定派遣员工前往祭拜，到海外出差者也必定到墓前祷告，香火很旺。战后著名的长期信用银行也建在附近，也许是祭拜不够虔诚，泡沫经济崩溃后负债累累，只好拍卖给美国人。

在“平将门之乱”时，伊予国（今爱媛县）守藤愿纯友与海盗联手造反，东至淡路岛西至九州的大宰府均为其占领。朝廷大惊，再次派遣藤原忠文作为征西大将军率军前往。这位福将也是走到半路，叛乱已被平定，功劳也包括在关东阵前逃跑的源经基。两次叛乱使中央贵族和各级官府认识到地方武士的厉害，更是将他们作为自己的侍卫和国府之兵。武士们也成为专门的军人，按照血缘主从关系结成大大小小的武士团，即按照族长、儿子、家人、下人、随从的顺序组成军事组织。族长为武士团首脑，儿子、家人是武士，下人、随从是侍候武士的农民，通常是一个骑马的武士有三个步行的仆人，因为需要一个人扛刀枪、一个人拿铺盖卷、一个人捧饭盒，看来比那个只有一个仆人的西班牙骑士唐吉诃德好得多。

1028年即藤原道长去世第二年，平氏家族的平忠常再次在关东叛乱，源经基之孙赖信奉关白藤原赖通之命前往镇压，因其武名威震天下，不战而胜。其后源氏家族经过“前九年之战”和“后三年之战”，平定东北地区的虾夷族叛乱和豪族内乱，成为关东地区武士团的首领。与此同时，平氏家族的一支却在关西地区成为武士团的首领，形成东西两大武士集团。

摄关家族飞扬跋扈，天皇忍气吞声，终于时来运转。1068年继位的后三条天皇与摄关家没有血缘关系，于是通过整顿庄园打击藤原氏，实现天皇亲政。为保证法令顺利实施，自己退位作为上皇，另辟院厅处理政务，开院政政治先河。后面的几位天皇照葫芦画瓢，亲自执政，其力量基础就是设置北面武士和武者所等机构，任命源、平武士团为护卫。尽管摄关家族也有称为“侍”的武士，但终究天皇在名义上要强势得多。

尽管院政政治在武士的支持下持续了百年，但显然是引狼入室，养虎遗患。首先是在1156年的“保元之乱”中，崇德上皇与后白河天皇兄弟之间发生冲突，藤原氏兄弟、源氏父子、平氏叔侄等家族成员也分成两派卷入其中，不仅武人登上政治舞台，而且骨肉相残，反映了其斗争的激烈。接着在1159年的“平治之乱”中，平氏家族的平清盛击败藤原信赖和源义朝，形成平氏专权体制。但清盛贪图女色，为获得源义朝的美妾而手下留情，源氏家族几个男孩得以活命，在很快到来的反平氏战争中获胜，结果源氏家族的源赖朝创建历史上第一个武家政权——镰仓幕府，时为1192年。在其后长达近700年时间里均为武士执政，直到德川幕府倒台。

尽管明治维新后太政官式的官僚制度得以再建，但继承武士衣钵的近代军人依然权力异常，由此才出现了新渡户稻造似是而非的《武士道》。