"Caravançarai" significa literalmente em persa "palácio de caravanas" (çara, a que se adiciona o sufixo yi, significa palácio ou edifício com pátios interiores). Os nomes ou respetivas transliterações variavam conforme a região e as línguas. Além de caravançarai, são comuns as formas caravançará, caravancerá, caravanserai, khan ou han (este em turco). Os termos bedesten e kaysaryia, também aplicados a mercados cobertos ou armazéns de mercadorias, são igualmente usados como sinónimos de caravançarai, bem como wakala, ribat ou rabat; estes últimos deram origem ao português "arrábita" e "arrábida" e são mais usualmente associados a certas fortalezas ou mosteiros fortificados que se encontram no Norte de África.No Magrebe designavam-se funduq, funduque ou fondouk, um termo que por vezes também surge noutras paragens e era usado na Península Ibérica durante o período muçulmano. No subcontinente indiano eram designados por sarai.[carece de fontes?]Nas cidades e colónias das repúblicas marítimas italianas, eram designados fondachi (singular: fondaco), um termo que tem origem no árabe فندق (funduq), que significa literalmente "casa-armazém", e que por sua vez provém do grego πάνδοκος (pousada). O mesmo termo deu origem ao espanhol fonda, que ainda hoje é sinónimo de pensão ou estalagem modesta que fornece alojamento onde se serve comida.
A origem deste tipo de estabelecimento remonta ao Império Aquemênida, onde existia a chamada Estrada Real, reconstruída por Dario I no século V a.C. e que se estendia por 2 500 km, entre Susa e Sárdis. O geógrafo grego Heródoto (século V a.C.) refere que «ao longo de toda a sua extensão existem estações reais e excelentes caravançarais; e atravessa terras inabitadas e é livre de perigo».Os caravançarais floresceram principalmente durante a expansão islâmica e os séculos que se lhe seguiram, estando ligados ao aumento do comércio por terra entre o Oriente e o Ocidente, nomeadamente da Rota da Seda, que só declinou após a abertura das rotas oceânicas pelos portugueses a partir dos últimos anos do século XV. A maior parte dos caravançarais foram construídos entre os séculos IX e XIX e cobrem uma área geográfica centrada na Ásia Central.