Hrad Talmberk založil Hroznata z Úžic z moravského rodu Kouniců někdy po roce 1284. Byl totiž purkrabím Pražského hradu a za služby prokazované králi Václavovi II. dostal území severně od řeky Sázavy, kolem Úžic. První písemná zpráva o hradu pochází z roku 1291, kdy došlo k dělení majetku mezi syny Hroznaty. Hrad se statkem tehdy dostal Arnošt, který ho dostavěl. Od poloviny 16. století je uváděn jako pustý.
První zmínka o vsi Skalice Hor Stříbrných pochází z roku 1361 za Ctibora ze Skalice, jemuž patřilo i patronátní právo ke kostelu sv. Jakuba v Rovné. Není doloženo, zda hrad již existoval dříve (podle archeologických nálezů však existovaLo osídlení hradního kopce již ve 13. století), nebo zda vznikl až za tohoto majitele, nebo jeho syna Střížka ze Skalice, připomínaného v roce 1376, případně Kuneše ze Skalice, připomínaného v roce 1377.