Povestea castelului începe în secolul al XI-lea, când Foulques Nerra, conte de Anjou, a reconstruit fortăreața în stâncă ce fusese ridicată în imediata vecinătate a Loarei, ca punct strategic.Începând din secolul al XI-lea, trei fortărețe ridicate pe fluviu, lânga insula Saint Jean, au fost în stăpânirea puternicilor conți de Amboise, până la confiscarea lor de către Ludovic al VII-lea.Vecinătatea insulei a facilitat construirea unui pod cu mare importanța economică și militară.În secolul al XV-lea, Ludovic al XI-lea a făcut din Amboise reședința soției sale Charlotte de Savoie, care l-a născut aici pe viitorul Carol al VIII-lea în anul 1470.Acesta a copilărit în acest loc împreună cu sora sa, Anne de Beaujeu.La 13 ani a urcat pe tron și în 1492 a decis construirea unui nou și măreț castel.
La înapoierea din campania din Italia (1495), regele a adus nu numai prada de război, mobilier, tablouri, statui, ci și multe idei, precum și o echipă de 22 de meșteri constructori, sculptori, ebeniști si grădinari pentru a finaliza castelul si parcul în felul celor văzute în Italia, dar mai fastuos.Printre acești artiști italieni s-au numarat Fra Giocondo, Boccador si horticultorul italian Pacello de Mercogliano.
Carol al VIII-lea a murit în 1498, la vârsta de 28 de ani, fără a se bucura pe deplin de rezultatele eforturilor sale.L-a urmat vărul său Ludovic al XII-lea, dar apogeul istoric al castelului va fi atins sub Francisc I, vărul și totodata ginerele lui Ludovic al XII-lea.În 1515 acesta l-a invitat aici pe Leonardo da Vinci (artistul avea pe atunci 64 de ani), care și-a trăit ultimii ani și a și fost ingropat aici.
La începutul secolului al XVII-lea, castelul a devenit proprietatea lui Gaston d’Orleans, fratele regelui Ludovic al XIII lea. Ulterior, castelul a cărei măreție a început să pălească și-a schimbat foarte des proprietarii în funcție de capriciile Coroanei.Din păcate mulți dintre noii proprietari nu au dispus de mijloacele materiale necesare pentru a-l întreține, el devenind treptat o ruină. Ca urmare, în 1848, statul a readus castelul în proprietatea sa și l-a transformat în închisoare, aici fiind închis până în 1852, Abd El Kader.
În 1873, castelul a fost din nou restituit familiei d’Orleans care l-a transformat în azil de bătrâni.Apoi, la începutul secolului al XX-lea, Ruprich-Robert și urmașii săi au restaurat Amboise, redându-i a doua tinerețe.