Se construyó entre 1045 y 1060 sobre las ruinas de una fortaleza musulmana.
Pasó por varias fases constructivas, lo que hace muy complejo su estudio. La reforma más importante se dio durante el reinado de Felipe II.
Es Monumento Histórico Artístico desde 1931. En la actualidad es centro de exposiciones y actividades culturales.