En el precioso libro "Historia de la Prodigiosa Imagen de Ntra. Sra. de CONSOLACIÓN" escrito por D. Lázaro Ramiro de Minaganante -ya hace más de dos siglos-, se lee lo siguiente:
"El castillo es un resto admirable del antiguo esplendor de este Pueblo, el que más puede darnos idea de su grandeza y antigüedad".

            Siguiendo e interpretando el contenido de dicho libro (digno de ser reeditado en su totalidad) podemos escribir:
Los restos del castillo muestran la antigüedad y esplendor de este pueblo. Sus ruinas ponen de manifiesto el respeto que esta población impuso durante siglos y el aprecio que ocupó en el Reino.
            Es un imponente peñón cortado a tajo en todo su contorno. La parte oriental cae en profundidad de unos 152 metros sobre el Reguero -pequeño riachuelo que corre por el fondo a través de una profunda hoz- Por la parte de occidente limita sobre el pueblo, con un altura de unos 47 m. A él se accede por medio de una subida artificial y habíanse que atravesar tres puertas para conseguirlo, hoy inexistentes. Una de ellas próxima y antes de la torre del homenaje y, la última -un puente levadizo- que daba entrada al recinto donde se desarrollaba la vida en el castillo. Entre las ruinas que escaparon a la destrucción se ve varios trozos de obra romana y morisca y posteriores remodelaciones. Nos cuenta Lázaro Ramiro que "con lo que no pudo el espíritu destructor de los Godos y otros pueblos, no perdonaron nuestros Patricios que lo mandaron demoler a principios del siglo XVIII".

            En su superficie y en el extremo norte del mismo, se aprecian todavía los aljibes abandonados a su suerte y algunas entradas y respiraderos de edificaciones subterráneas que han resistido las inclemencias del tiempo y la dejadez de los hombres.  La llamada torre de la Veleta se conserva lo sufucientemente bien para apreciar su construcción solidísima de sillería, siguiendo las normas de la mejor construcción de la arquitectura romana. Está situada al extremo meridional  desde donde se aprecia una impresionante panorámica. En el lateral de esta torre finaliza la subida artificial al castillo.

         La primera destrucción tuvo lugar en 1707 con motivo de la guerra de sucesión al trono español entre los partidarios del Archiduque Carlos de Austria y D. Felipe de Anjou -nieto del Rey francés-. Fue este último quien se aseguró la Corona con el nombre de Felipe V.
Ramiro de Minganante nos dice en su libro antes mencionado: "Si en 1707 no se hubiera pasado a su derribo a instancias de un Patricio menos prudente y demasiado temeroso de que el enemigo se apoderara de una Plaza fuerte y desguarnecida, solicitó su demolición total..."
La siguiente demolición fue en 1840, al año siguiente de la terminación de la primera guerra carlista entre liberales que defendían los derechos de Isabel II y por otro lado los partidarios de D.Carlos, aspirante al Trono. Fue una guerra larga -7 años-, violenta y hasta cruel por los actos de represalia y que la Villa sufrió en la ocupación de los carlistas. Como consecuencia de todo esto, terminada la contienda con la victoria de los liberales, fue mandado destruir el castillo para evitar ser ocupado en otra ocasión y volver a pasar la población, por los sufrimientos y pérdidas experimentadas. 

   El Alcaide del Castillo tenía un sueldo de 90 escudos, lo que costeaba los vecinos.