El edificio empezó a construirse en el siglo XIV, aunque presenta elementos arquitectónicos que van del siglo XIV al XVII. Durante el siglo XVI se construyeron el patio de armas y la monumental escalera del palacio.
En este castillo nació y pasó su infancia el antipapa Benedicto XIII, más conocido como el Papa Luna (1328-1423).