El Infante D. Luis Antonio de Borbón mandó edificar este palacio al arquitecto Ventura Rodríguez (1.780) en el alto de la Mosquera. A causa de la muerte del infante se levantó sólo el ala este, en donde habitó. Destaca la fachada principal con su pórtico granítico de seis columnas dóricas adosadas. 

Por este Palacio pasaron personalidades de la cultura como el pintor Goya y el músico Boccherini.