Probablemente se originó a partir de una albacara (pequeña fortificación de tapial destinada a una guarnición no permanente) musulmana del siglo XI.
Tras ser conquistado en 1232 por Fernando III el Santo se iniciaron los trabajos de ampliación del recinto a la manera cristiana.