La casa de Cultura es un edificio del siglo XVIII de gran belleza arquitectónica, con dos entradas: una a través de un atrio con dos escalinatas laterales por Calle de la Victoria, donde está su entrada principal y otra a la Calle de Los urbanos con una arista redondeada haciendo el ángulo, aunque el alero se adelanta en agudo pico.

Su fachada de piedra de sillería, se desarrolla entre pilastras laterales y se organiza en tres cuerpos. En el bajo, precedida por un pretil elevado, se abre la gran puerta de moldura mixtilínea, decorada con formas curvas sigue la idea de profusión ornamental de las construcciones de la época. A su derecha una sola ventana de orejas  y sobre ella un hermoso balcón rodeado por moldura quebrada en ?codillos? con piso de vuelo ondulado y mensulón muy desarrollado de estrías y volutas en el arranque.

A los lados se sitúan simétricamente el escudo de la casa, cuartelado bajo yelmo, y otra ventana.

En el chaflán hay hornacina avenerada para imagen: a la vuelta en muro de sillería, los huecos balcones y ventanas se abren sin orden alguno.

Ha sido convento de la congregación de las ?Hijas de la Caridad de San Vicente de Paúl? desde 1887 hasta 1940, a ello debe su nombre.

La fachada principal se hundió con una tormenta en la noche del 25 de mayo de 1986 y fueron precisas importantes obras de rehabilitación, sufriendo su interior una gran transformación.