Zu solch hoher Würde aufgestiegen, hatte sich der geschäftstüchtige Jurist durch den Erwerb von Häusern ein ansehnliches Vermögen geschaffen. Davon kaufte er in Altötting das Bauerngut Kolberghof, vermutlich Stammsitz seiner väterlichen Vorfahren, ließ es kurzerhand abreißen und an gleicher Stelle am Zusammenfluss der Bäche Mörn und Sicking ein repräsentatives Schloss erbauen, wozu ihm sein herzoglicher Gönner noch das nahegelegene Gericht und Schloss Mörmosen auf Lebenszeit verlieh. Darüber hinaus erhob Kaiser Friedrich III. den hochverdienten Kanzler innerhalb des Jahres 1492 am 9. März in den Reichsfreiherrnstand und am 28. August in den Reichsgrafenstand. Die neue Reichsgrafschaft Neukolberg wurde aus der bestehenden Hofmark Altötting ausgegliedert und unterstand nunmehr als reichsunmittelbares Gebiet der Oberhoheit von Kaiser und Reich. Wolfgang Kolbergers Zenit war erreicht!
Doch dann wendete sich sein Schicksal. Der Kanzler war in die Ungnade seines Herrn gefallen. Am Ostersonntag des Jahres 1502 wurde Kolberger auf Befehl des misstrauisch gewordenen Herzogs auf der Burg Trausnitz gefangen gesetzt und ohne Gerichtsverhandlung und Verurteilung in die Veste Burghausen eingeliefert. Als Haftgrund vermuten die Historiker einen eklatanten Rechtsbruch, den Herzog Georg beging, als er entgegen dem Wittelbachischen Hausrecht seine Tochter Elisabeth mit dem entfernt verwandten Pfalzgrafen Ruprecht verheiratete und somit erbberechtigt machte, damit das niederbayerische Herzogtum nicht seinem verhassten Münchner Neffen, Herzog Albrecht IV. zufalle.
Kanzler Kolberger, der das Unrechtmäßige in diesem Fall erkannte, weigerte sich vehement, da er kriegerische Entwicklungen voraussah, die schließlich zum Landshuter Erbfolgekrieg 1503/05 führten.
17 Jahre schmachtete nun Wolfgang Kolberger in den Kerkern von Landshut, Burghausen und Neuburg an der Donau. Erst nach förmlichem Verzicht auf alle Rechte und Besitztümer in einer Urfehde von 1519 wurde der Inhaftierte freigelassen und starb bald danach als bettelarmer und gebrochener Mann. Kolbergers Sterbedatum und Grabstätte sind bis heute unbekannt. Sic transit gloria mundi!
Sein Erbe trat 1507 der im Landshuter Erbfolgekrieg siegreiche Nürnberger Patrizier Ritter Thomas Löffelholz an. Nach dessen Tod (1527) ging das Kolbergschloss in verschiedene adelige und nichtadelige Hände über, bis es 1852 die Englischen Fräulein käuflich erwarben, es ausbauten und in ein Erziehungsinstitut umwandelten.
Seit 1996 ist die Josefsburg Sitz der Emmanuel School of Mission (ESM), eine internationale Akademie für Evangelisation.
Quellen: Stadtarchiv Altötting
Heimatbuch Altötting