Die Burg Talmberk wurde von Hroznata von Úžice aus der mährischen Familie Kounic um das Jahr 1284 gegründet. Er war der Burggraf der Prager Burg und erhielt für seine Dienste für König Wenzel II. das Gebiet nördlich des Flusses Sázava um Úžice. Die erste schriftliche Erwähnung der Burg stammt aus dem Jahr 1291, als der Besitz unter den Söhnen von Hroznata aufgeteilt wurde. Die Burg und der Hof wurden dann an Arnošt übergeben, der sie fertigstellte. Ab Mitte des 16. Jahrhunderts wird die Burg als verlassen erwähnt.
Die erste Erwähnung des Dorfes Skalice Hor Stříbrný stammt aus dem Jahr 1361 unter Ctibor von Skalice, der auch das Patronatsrecht über die Kirche St. Jakob in Rovná hatte. Es ist nicht belegt, ob die Burg schon früher existierte (nach archäologischen Funden gab es jedoch bereits im 13. Jahrhundert eine Siedlung auf dem Burgberg) oder ob sie unter diesem Besitzer oder seinem Sohn Střížek von Skalice, der 1376 erwähnt wird, oder Kuneš von Skalice, der 1377 erwähnt wird, errichtet wurde.