Angenommen wird, dass die Grafen von Bogen die Erbauer im 12. und 13. Jh waren. Am Ende vom 13. Jh. kam das Gebiet zu Böhmen. Die früheste schriftliche Erwähnung der Anlage findet sich erst 1380 als Eigentum von Puta I. von Schwihau. Zu dieser Zeit bestand die Burg lediglich aus einem Wohnturm und diente wohl zur Sicherung der Handelswege bei Sušice sowie dem Schutz des Goldbergbaus im Gebiet der Otava.
Bis Anfang des 15. Jh.'s wurde die Burg erweitert, verstärkt und zur Festung ausgebaut. 1407 erbte Jan von Riesenberg die Burg Rabí, wodurch diese ab 1415 zu einem Stützpunkt der Hussitengegner wurde. Während der Hussitenkriege wurde zweimal die Burg eingenommen.
Nach den Riesenbergern gelangte der oberste königliche Richter Puta II. von Schwihau in den Besitz von Rabí. Er ließ die Burg um einen weiteren Mauerring erweitern. Sie diente auch als Ort zahlreicher Verhandlungen und Bankette.