W roku 1360 książę świdnicki Bolko II Mały sprzedał go von Talkenbergowi, odtąd zamek zwano Burg Talkenstein.
Po wojnach husyckich von Talkenbergowie, którzy przeistoczyli się w rycerzy-rozbójników (raubritterów), wsławionych "licznymi napadami na kupców i mieszczan z Gryfowa Śląskiego i Lwówka Śląskiego", uczynili z zamku swoją bazę. W związku z tym w 1433 r. cesarz Zygmunt Luksemburski nakazał zdobycie i zniszczenie zamku, do czego jednak nie doszło.
W okresie walk o tron czeski w 1479 r. zdobyty przez wojska króla węgierskiego Macieja Korwina, częściowo zniszczony i odebrany von Talkenbergom.
Po śmierci Korwina jego rywal w walce o tron czeski, Władysław Jagiellończyk, oddał Talkenstein Christophowi von Talkenbergowi, słynnemu rycerzowi znanemu z udziału w wielu turniejach, który władał nim do śmierci w 1505 lub 1516 r.
Jego potomek Rampold von Talkenstein siedział na Talkensteinie do 1576, kiedy to przeniósł się do Płakowic.
Opuszczony zamek popadł w ruinę i stał się źródłem budulca. Jednak jeszcze w roku 1809 zwiedzał to miejsce słynny poeta Theodor Korner. Dopiero w 1830 roku r. ówczesny właściciel dóbr, ks. Hans Karl Friedrich Diebitsch-Sabalkanski (znany w Polsce jako Iwan Iwanowicz Dybicz Zabałkański) przeprowadził konserwację ruin.
[Hans Diebitsch / Iwan Dybicz]
Ruiny zamku na tle zabudowań Rząsin (zdjęcie z roku 1933 za http://wroclaw.hydral.com.pl/112703,foto.html):
Widok ze szczytu skały Talkenstein rzeczywiście cieszy oko:
