Колись - з 1330 року - це був справжній замок, з ровом і оборонними стінами, але в результаті наступних воєн він повільно втратив свій характер. У 17 столітті укріплення були зняті, а після Тридцятилітньої війни замок був відбудований і з тих пір він служив лише мисливським будиночком. Пізніше його багато разів модифікували і довели до нинішнього розміру. У 1967 році залишки укріплень були знесені, а з 1995 року в ньому розташовуються музей Таунуштайнер і ресторан «Wirtshaus im Schloß».
