El Palacio de los Gobernadores es de arquitectura civil y data del siglo XVIII, fue sede de la Comandancia Militar de la zona de Gibraltar hasta el siglo XIX y se dice que muchos de los ataques durante los asedios a la Roca se planearon aquí.

Actualmente acoge la Delegación Municipal de Cultura ?Luis Ortega Brú?. En principio este edificio fue conocido por Casa de Berlanga, ya que el 6 de septiembre de 1768, Juan Berlanga Avilés, teniente general de los Reales Ejércitos y su esposa María Martínez España, lo adquirieron a Juan Arcadio y su esposa, María Machado. Situado en la Plaza de la Iglesia, conocida antes como Plaza de las Verduras, debido a que el mercado se instalaba aquí. La fachada principal da a la calle Rubín de Celis. El inmueble fue declarado Monumento Histórico-Artístico, el 2 de marzo de 1972.