El origen del samurái data de alrededor del denominado siglo X y se fortaleció al concluir las Guerras Genpei a finales del siglo XII, cuando fue instituido un gobierno militar bajo la figura del shōgun, por el cual el Emperador de Japón quedó a su sombra como un mero espectador de la situación política del país. Su momento cumbre tuvo lugar durante el período Sengoku, una época de gran inestabilidad y continuas luchas de poder entre los distintos clanes existentes, por lo que esta etapa de la historia de Japón es referida como «período de los estados en guerra ». El liderazgo militar del país continuaría a manos de esta élite hasta la institución del shogunato Tokugawa en el siglo XVII por parte de un poderoso terrateniente samurái (conocidos como daimyō) llamado Tokugawa Ieyasu, quien paradójicamente, al convertirse en la máxima autoridad al ser nombrado como shōgun, luchó por reducir los privilegios y estatus social de la clase guerrera, proceso que finalmente culminó con su desaparición cuando el emperador retomó su papel de gobernante durante la Restauración Meiji en el siglo XIX.
Históricamente la imagen de un samurái estuvo más relacionada con la de un arquero a caballo que con la de un espadachín, y no fue sino hasta que reinó una relativa paz que la espada adquirió la importancia con la que se la relaciona actualmente; la fantasía y la realidad de los samuráis se ha entremezclado e idealizado y sus historias han servido de base tanto de novelas, como de películas e historietas.
Aunque no existe certeza del origen exacto de la palabra samurai (侍, ' samurai '?), la mayoría de los historiadores concuerdan en que tiene su origen en una variación del verbo, en japonés antiguo, saburau que significa «servir», por lo que el término derivado saburai se convierte en «aquellos que sirven».
El primer registro que se ha encontrado de la palabra samurái data del siglo VIII y no era aplicado con un carácter marcial, sino que se utilizaba para referirse a los sirvientes domésticos encargados de atender a los ancianos. La palabra finalmente derivó a un aspecto militar y su significado como lo conocemos hoy en día surgió con los gunkimono (軍記物, 'gunkimono'?), una serie de historias de guerra del siglo XII gracias a las cuales se ha podido estudiar el comportamiento, metodología y apariencia de la élite militar.
Los términos bushi (武士, 'bushi'?) y samurai (侍, ' samurai '?) han sido utilizados como sinónimos, pero la diferencia radica en que la palabra bushi significa sencillamente « guerrero » sin importar la posición o jerarquía, mientras que la palabra samurái se refiere a los miembros de una élite militar.
Durante el período Kofun (250 - 530), la clase aristocrática estaba constituida por guerreros a caballo, los cuales eran enterrados junto con sus armas, armaduras, espejos de bronce y joyas en túmulos que generalmente solían tener la forma de un ojo de cerradura. Estos sepulcros eran conocidos como kofun (古墳, 'kofun'? lit. « tumba antigua» o «túmulo antiguo »). Era común depositar además estatuillas de barro con formas de sirvientes, animales y soldados. Estas figurillas eran conocidas como haniwa (埴輪, 'haniwa'?) y con ellas se reemplazaban los sacrificios humanos. Del estudio de los haniwa encontrados, se puede deducir que estos aristócratas son los antepasados directos de los que más adelante serán conocidos como samuráis, término que no fue acuñado oficialmente para referirse a la clase guerrera de élite sino hasta el siglo XII.
Durante este periodo, Japón estuvo íntimamente relacionado con las situaciones bélicas en Corea y China.
