Difficile d’imaginer le château médiéval qu’il était au XIIIème siècle lorsqu’il était la propriété de la famille des Verduzan.
Ces seigneurs fournirent de valeureux guerriers qui guerroyèrent dans le camp des Armagnacs au côté de Jeanne d’Arc.
Leur blason composé de deux besans (2 disques blancs ou argent sur fond bleu), est devenu le blason de Castéra-Verduzan.