La fortaleza se sitúa sobre un antiguo castro y su origen se remonta a los siglos XII-XIII. Ha sufrido sucesivas remodelaciones, entre las que destaca la realizada en el siglo XVI que dotó al edificio de las características ventanas platerescas.
A lo largo de su historia ha pertenecido a varias familias, cuyos blasones aparecen en el escudo de la portada.
Hoy constituye la sección etnográfica del Museo Provincial de Lugo.