Kasteel Talmberk werd gesticht door Hroznata van Úžice uit de Moravische familie Kounic ergens na 1284. Hij was de Purgrave van de Praagse Burcht en voor zijn diensten aan koning Wenceslas II kreeg hij het gebied ten noorden van de rivier de Sázava, rond Úžice. De eerste schriftelijke vermelding van het kasteel dateert uit 1291, toen het eigendom werd verdeeld onder de zonen van Hroznata. Het kasteel en de boerderij werden toen aan Arnošt gegeven, die het voltooide. Vanaf het midden van de 16e eeuw wordt het als verlaten vermeld.