Het kasteel werd in de eerste helft van de 14e eeuw gebouwd door Hendrik van Lipá en kreeg in 1366 de naam Pirkštejn ter herinnering aan de oorspronkelijke familiezetel van de heren van Lipá en Dubá. Vandaag de dag is het interieur van het kasteel niet toegankelijk voor bezoekers.