El Museo Internacional de Arte Contemporáneo está ubicado en el Castillo de San José, fortaleza construida de 1776 a 1779 por el rey Carlos III.
César Manrique descubrió el sentido de este edificio y quiso conservarlo como documento histórico. Fue nombrado presidente honorario del museo, al facilitar una colección moderna considerable, combinando cuadros propios y de otros artistas contemporáneos.
La inauguración se celebró en 1976 con grandes nombres como Alechinski, Bacon, Botero, Dámaso, Domínguez, Francis, Leparc, Manrique, Millares, Miró, Picasso, Rompó, Tápies y los dos cohetáneos Luis Féito y Manuel Manpaso, quienes habían fundado junto con César Manrique en 1954 la Galería Clan de Madrid.
El Castillo es escenario habitual de exposiciones itinerantes, conferencias, mesas redondas...