Das – erst später so genannte – Prinz-Carl-Palais an der heutigen Königinstraße 1 wurde 1804 bis 1806 für Abbé Pierre de Salabert (1734 - 1807), den ehemaligen Erzieher der Herzöge von Zweibrücken Karl August und Max Joseph und Pfalz-Zweibrückener Minister, gebaut.

Dieser lebte seit 1799 als lebenslustiger Pensionär in München. Um sich dort ein angemessenes Domizil zu errichten, erwarb er Grund der ehemaligen Bastion an der heutigen Galeriestraße (heutiger Finanzgarten).

Mit dem Bau beauftragt wurde der erst 22-jährige Karl von Fischer, der damals noch in Wien Architektur studierte. Da das gesamte Planmaterial bis auf ein Friesdetail verloren ist, kann über den ursprünglichen Entwurf Fischers nichts ausgesagt werden. Bekannt ist nur, dass Salabert zwar ein Gebäude wünschte, das geeignet sein sollte, „die private Existenz bis auf die Höhe eines königlichen Daseins zu steigern”, dass er aber dennoch die Planungen Fischers als zu umfassend empfand.

Fischer musste deshalb seinen Entwurf reduzieren. Am 24. Mai 1804 war die Grundsteinlegung. Im August 1806 bezog Salabert sein neues Domizil. Karl von Fischer verstand es, das ursprünglich nur mit einem Ost- und Südflügel L-förmig angelegte Bauwerk zu einem architektonischen Bindeglied zwischen der Stadt und dem als öffentlichem Erholungspark gestalteten Englischen Garten werden zu lassen.

Das Gebäude, das – trotz späterer Eingriffe – bis heute als der vorzüglichste private Münchner Profanbau des frühen Klassizismus gelten muss, brachte ihm schon während seiner Erbauung so viel Lob ein, dass Fischer im Oktober 1806, also zwei Jahre vor der offiziellen Konstitution der Münchner Akademie der Künste, aufgrund dieser Leistung zum Akademie-Professor ernannt wurde.

Nach Salaberts Tod erwarb König Max Joseph das Palais. 1825 wurde es von König Ludwig I. an seinen Bruder Carl übertragen. Der neue Besitzer ließ das Gebäude umbauen und u.a. um eine Bibliothek, Räume für die Dienerschaft und Remisen erweitern. 1827 bis 1830 wurden die Haupträume durch Jean-Baptiste Métevier und Anton Schwanthaler neu dekoriert.

Nach dem Tod von Prinz Carl im Jahr 1875 ging das Palais an das Finanzministerium über. Bis 1919 wurde es an die österreichische Gesandtschaft vermietet.

Von 1924 bis 1993 war das Prinz-Carl-Palais Sitz des jeweiligen bayerischen Ministerpräsidenten. Seit mehr als zehn Jahren wird es von der Bayerischen Staatskanzlei hauptsächlich für repräsentative Aufgaben des bayerischen Ministerpräsidenten genutzt.

Die Remisengebäude an der Nordseite waren abgebrochen und die Anlage mit einem Anbau nach Westen zum Quadrat geschlossen worden.

Für die neu geschaffene Nordfassade kopierte der ausführende Architekt Fritz Gablonsky Fischers Südfassade.

Seine größte Beeinträchtigung erfuhr das Gebäude jedoch 1970 durch den Bau des Altstadtrings – dadurch, dass die Bezüge, welche die Gartenvilla zwischen Hofgarten und Englischem Garten schuf, zerstört wurden, und durch den Tunnel-Schlund, der sich seitdem unterhalb der Villa auftut.