Der große Palast war Stadtschloss der Medici und der Habsburg-Lorena. Von 1865 bis 1871, als Florenz Hauptstadt Italiens war, wohnte hier Viktor Emanuel II von Savoyen.
Mit dem Bau des Palazzo wurde in der 2. H. des 15. Jhs. für Luca Pitti nach zuvor von Filippo Brunelleschi gelieferten Zeichnungen begonnen, der sich vom Aufbau der römischen Aquädukte mit ihren Arkade anregen ließ. 1549 wurde der Palast von Eleonora von Toledo, der Frau Cosimos de‘ Medici erworben, demjenigen, der 1569 zum ersten Großherzog der Toskana proklamiert werden sollte. Das Gebäude wurde 1558 – 1577 nach einem Entwurf von Bartolommeo Ammannati erweitert. Weitere Vergrößerungen, die zu kolossalen Ausmaßen und den heutigen Formen führten, erfolgten zwischen 1620 und 1780.
Der älteste Teil, d. h. der, der auf den Entwurf Brunelleschis zurückgeht, liegt in der Mitte und hat ein großes Eingangsportal und sieben Fenster auf jedem der zwei Stockwerke.
Durch das Tor kommt man in den großen Hof, der von Ammannati entworfen worden ist und sich durch Schönheit und Kraft auszeichnet. Dieser Hof führt in die bezaubernden Boboli-Gärten.