De plek waar het werd gebouwd was al in de Middeleeuwen een geliefde jachtlokatie voor de koningen van Castilië. Hendrik IV (1424-1474) liet er in de 15de eeuw een jachthuis neerzetten gewijd aan de heilige San Ildefonso van Toledo. Later werd dit door koningin Isabel I (1451-1504) geschonken aan de monniken van het Parralklooster in Segovia. Die bouwden er een boerderij. Vandaar de naam 'granja' (boerderij).
In 1719 ging Filips V (1683-1746) ertoe over om het complex terug te kopen om er vanaf 1721 een nieuw paleis aan te leggen. Tot zijn dood werd het paleis steeds verder uitgebreid en gedecoreerd. Zijn eerste zoon uit zijn tweede huwelijk, die tussen 1759 en 1788 regeerde als Karel III, was degene, die het plan liet ontwerpen voor de omringende plaats, San Ildefonso, en de woningen voor leden van het hof, die in 1761 voltooid werden.
Pensioen
Filips V had het zo naar zijn zin in dit zomerpaleis dat hij in 1724 besloot zich er volledig terug te trekken. Daartoe trad hij af ten gunste van zijn zoon Lodewijk I. Die stierf echter kort na zijn kroning waardoor Filips ertoe werd gedwongen om opnieuw koning te worden. Daardoor werd La Granja opeens een belangrijk centrum van de Spaanse regering. Uiteindelijk zou Filips ook worden begraven in San Ildefonso, in de paleiskerk die tussen 1721 en 1724 werd gebouwd.
In de daarop volgende eeuwen zou La Granja het belangrijkste zomerpaleis zijn van de Spaanse koningen. Zo werd er o.a. Juan de Borbón geboren, zoon van koning Alfonso XIII. Die moest aftreden en het land verlaten toen in 1931 de Tweede Spaanse republiek werd uitgeroepen. Hij heeft er onder het Franco-regime alles aan gedaan om ervoor te zorgen dat zijn zoon, Juan Carlos, uiteindelijk in 1975 koning van Spanje zou worden. Dat zou deze blijven tot 2014.
Het paleis is tegenwoordig onder beheer van het zg. 'Patrimonio Nacional' ('Nationaal erfgoed') en een populaire plek voor toeristenbezoek. Onlangs werd er een museum geopend, waar de omvangrijke koninklijke collectie van Vlaamse en Nederlandse wandtapijten wordt getoond, het zg. 'Museo de Tapices del Palacio Real de La Granja'. Ook zijn er tapijten te zien, die werden ontworpen door de Spaanse kunstenaar Francisco de Goya (1746-1828) en enkele schilderijen op glas van de hand van de Italiaanse barokschilder Luca Giordano (1634-1705).
Afbeeldingen: (van boven naar beneden) Het paleis 'La Granja de San Ildefonso' met een deel van zijn tuinen; Filips V en zijn tweede vrouw Isabel de Farnesio (Luis-Mic hel van Loo, ca. 1743); fonteinen in de tuinen van het paleis in werking; het tapijtenmuseum binnen de muren van het paleis.
