Fue un emplazamiento musulmán hasta el año 1171, cuando el rey Alfonso II lo recuperó para incluirlo al círculo cristiano.
La fortaleza fue escenario de las luchas entre los reinos de Castilla y Aragón. Y ya en el siglo XVIII pasó a ser ocupado por la orden de los franciscanos.
Se caracteriza porque sus cuatro fachadas, al igual ques sus cuatro torres, son distintas.