In der weiteren wechselvollen Geschichte konnte sich einmal das Kloster Bernried als Eigentümer bezeichnen, dann wieder das Kloster Dietramszell. Das Haus Wittelsbach wollte nicht nachstehen und so trug sich als erster Herzog Albrecht IV. der Weise, in die Besitzerliste ein.

Betrieben wurde die Schweige "Wernprunn" von Bauern, die es als Unterpächter nicht leicht hatten, einmal mit den Unbilden der Natur und zum anderen mit ihren Behausungen -" ist ganz pauföhlig"- wie es einmal in einem Gesuch beschrieben wird.

Manchen Ärger gab es mit dem Wirt vom benachbarten Grünwald, weil die Schwaiger in Wörnbrunn über ihre Erlaubnis Bier nur für ihre "Ehehalten" (=Dienstboten) und Taglöhner auszuschenken (zu "verleiten") hinaus, ihr Bier auch an jedermann "auszäpfelten".

Der Wirt von Grünwald fühlte sich stark benachteiligt, noch dazu als er erfahren hatte:" es zechen manchmals Leute beiderlei Geschlechts bis in den hellen Morgen. Nach schier endlosen Streitereien mußte 1789 der Grünwalder Wirt den Bierausschank der Wörnbrunner dann doch dulden.

Wer weiß, vielleicht trank auch König Ludwig I. in Wörnbrunn eine frische Maß. Denn alljährlich kam der König nach Wörnbrunn zur Jagd. Förster Anton Thoma und sein Gehilfe notieren z. B. über die Jagd in Wörnbrunn vom Oktober bis Dezember 1847, 69 Hirsche, dabei zwei 14-Ender, 16 Rehe, 54 Wildschweine, 13 Hasen, 1 Ente, 3 Rebhühner, 2 Wachteln. Ein 16-Ender, der am 13. August 1847 geschossen wurde, wog 290 Pfund. Unter dem "Raubzeug", daß im gleichen Zeitraum in Wörnbrunn abgeschossen wurde, sind vermerkt: 5 Füchse, 8 Dachse, 1 Marder, 8 Wiesel, 1 Igel, 1 Eule, 4 Raben aber auch drei Hunde und 13 Katzen wurden von den wackeren Waidmännern abgeknallt. Die Schwaige Wörnbrunn hatte sich immer mehr in ein Forsthaus verwandelt.

1891 schließlich bekam der amtierende Förster Bauer für sein Forsthaus eine echte Konzession zum Betrieb einer Gastwirtschaft ausgehändigt. Der Techniker des Bezirksamts hatte nach einer gründlichen Untersuchung berichtet, daß die Lokalitäten in Wörnbrunn zur Ausübung einer Wirtschaft geeignet sind, "sie erscheinen geräumig, nur etwas zu niedrig".

1935 zogen die Forstleute aus und der Gastwirt Kaspar Adam aus Ödenpullach als Gaststättenpächter ein. 1961 erwarb Kaspar Adam das Anwesen vom Bayerischen Staat.

1975 ging das Forsthaus Wörnbrunn in den Besitz der Familie Süßmeier über, die ab 1983 nach umfangreichem Umbau die Gaststätte in eigener Regie betrieben. Der Dachstuhlbrand am 14. Juni 1991, durch ein schweres Unwetter hervorgerufen rief die Handwerker wiederum in Scharen ins Forsthaus. Erneut kam es zum Auf- und Umbau. Statt der bisherigen Hotelzimmer entstanden modernst ausgestattete Konferenz-, Tagungs- und Seminarräume, die auch für Feiern aller Art genutzt werden können.

Von April 1997 bis Juni 2003 wurde das Forsthaus Wörnbrunn von den Wirtsleuten Elke und Hanns-Werner sowie ihren Kindern Michael und Stephanie Glöckle betrieben.

Am 1. April 2006 übernahm der Wirt Franz Schmid mit seiner Geschäftsführerin Edith Pongratz das neu renovierte Forsthaus Wörnbrunn – und wer weiß, vielleicht wächst bald wieder zusammen, was Jahrhunderte lang immer zusammen gehörte – die Schwaige mit dem Gutsteil Wörnbrunn.

- Forsthaus Wörnbrunn - das Lokal (mehr)