Kasteel Talmberk werd gesticht door Hroznata van Úžice uit de Moravische familie Kounic ergens na 1284. Hij was de Purgrave van de Praagse Burcht en voor zijn diensten aan koning Wenceslas II kreeg hij het gebied ten noorden van de rivier de Sázava, rond Úžice. De eerste schriftelijke vermelding van het kasteel dateert uit 1291, toen het eigendom werd verdeeld onder de zonen van Hroznata. Het kasteel en de boerderij werden toen aan Arnošt gegeven, die het voltooide. Vanaf het midden van de 16e eeuw wordt het als verlaten vermeld.
De eerste vermelding van het dorp Skalice Hor Stříbrný dateert uit 1361 onder Ctibor van Skalice, die ook het patronaatsrecht had over de kerk van Sint-Jakob in Rovná. Het is niet gedocumenteerd of het kasteel al eerder bestond (volgens archeologische vondsten was er echter al in de 13e eeuw een nederzetting op de burchtheuvel) of dat het gebouwd werd onder deze eigenaar of zijn zoon Střížek van Skalice, genoemd in 1376, of Kuneš van Skalice, genoemd in 1377.