Llegamos al castillo de Ricla al ascender por un callejón situado frente a la torre de la iglesia. Se sitúa encaramado sobre una peña rocosa cerca del río, al que se llegaba a través de un túnel subterráneo excavado en la roca y que hoy se encuentra tapiado. La superficie del castillo es de 733 metros cuadrados, de los cuales 320 corresponden a la edificación y el resto al patio.
Probablemente de origen musulmán, conserva algunos restos antiguos, aunque la fortaleza se reconstruyó en el siglo XV o XVI y adquirió el aspecto de una gran casa señorial. Tiene dos bloques que dan hacia la calle de la Cruz y hacia la plaza de España. Además, en uno de sus ángulos, oculto desde el exterior del recinto, se aprecia la base de uno de los torreones y restos de la muralla. Si lo observamos desde la calle de la Cruz, se aprecia su aspecto defensivo, ya que el edificio cuelga de la roca con sus muros de tapial sin enlucir sobre restos de mampostería. Se abren dos balcones y algunas ventanas, señal inequívoca de su reconversión de castillo a palacio. En el interior se conserva un salón cubierto con alfarje de estilo gótico tardío. La fachada principal, muy transformada, está detrás de la Casa Consistorial. Conserva el escudo esculpido en piedra armera que representa una media luna jaquelada en su interior, es el escudo de los Luna, familia que habitó el castillo. Más abajo se encuentra una placa de cerámica de Muel con la media luna, y la fecha de 1772, y que posiblemente recuerde la última reforma realizada. El interior ha sido transformado en vivienda, sin restos del pasado, pero aún conserva una de las estancias originales más grandes, el Salón del Trono, de planta rectangular.
