El castillo tiene una barrera con amplias torres y cámaras de tiro abovedadas y un singular patio de entrada. Es de planta regular cuadrada y tiene en el centro una gran torre del homenaje, popularmente llamada 'macho', de varias plantas y puente voladizo. Fue construido en el s. XV como castillo-palacio por el cuarto Conde de Benavente, Don Rodrigo Alonso Pimentel, miembro de la poderosa nobleza castellana y poseedor de numerosos castillos.

En su interior se encuentra el Centro de las Fortificaciones, donde el visitante conoce de forma amena la historia del castillo de la villa y de los alrededores y el resto de las fortalezas de la provincia. En la parte norte del recinto amurallado, se encuentra la Casa del Gobernador: Ecomuseo de Sanabria, Carballeda, Valles del Tera, Villafáfila y Parque de Montesinho. Se trata de recrear el viaje que siglos atrás hicieron los Pimentel, condes de Benavente, desde Portugal hasta Sanabria, para desde allí partir al resto de zonas zamoranas.

En la parte norte del recinto amurallado se encuentra el Centro de Recepción de Visitantes, en la "Casa del Gobernador", que cuenta con diversas salas expositivas. 

En el castillo también se ubican la Biblioteca Municipal, Sala de Exposiciones y el Salón de Actos.