Este castillo, situado a 1.198 metros de altitud, fue fundado por Hudail Ibn Razín, quien se independizó del reino de Córdoba y pudo así mejorar las instalaciones de su residencia.
El castillo fue el centro del reino de Albarracín y ha sido el núcleo origen de la ciudad.