Bekanntheit erreichte das Schloss durch seinen Besitzer Wilhelm von Grumbach (1503-1569). Er war 1525 erstmals in Erscheinung getreten. Auf Seiten des Markgrafen bekämpfte er die Bauern und im Mai 1525 ließ er seinen Schwager Florian Geyer im Gramschatzer Wald ermorden. Wilhelm machte Karriere als Hofmarschall, Statthalter des Markgrafen, kaiserlicher Oberst und ab 1553 war er im Dienst des Markgrafen Albrecht Alcibiades von Brandenburg Kulmbach. Der Fürstbischof Melichor von Zobel forderte nach Amtsantritt eine Dotation des Vorgängers an Grumbach zurück.
Im zweiten Markgrafenkrieg diente er seinem Herren. Im Streit zwischen Zobel und dem Markgrafen wurden die Güter von Grumbach konfisziert. Wilhelm von Grumbach erklärte daraufhin dem Bischof die Fehde. 1558 wurde Melchior Zobel von Giebelstadt auf dem Weg zur Feste Marienberg überfallen und von einem Knecht des Wilhelm von Grumbach erschossen. Grumbach besetzte zwischenzeitlich sogar Würzburg. Er erzwang vom Domkapitel die Rückgabe seines Besitzes. Der Kaiser belegte ihn dafür mit der Reichsacht.
Von Grumbach musste zu dem ihm wohlgesinnten Herzog Johann Friedrich dem Mittleren nach Gotha fliehen. Daraufhin zog 1567 ein kaiserliches Heer vor Gotha und nahm die Stadt und Festung Grimmenstein ein. Der Herzog wurde zu lebenslanger Haft verurteilt, von Grumbach gefoltert und hingerichtet.
1593 wurden Schloss und Ort Rimpar durch den Fürstbischof Julius Echter von Mespelbrunn erworben. Es diente bis in das 18. Jh. als Sommersitz der Bischöfe. Im Jahr 1744 wurde die Sommerresidenz aufgegeben, 1800 erfolgte eine Renovierung. Das Königliche Bayerische Forstamt nutzte das Schloss.
