Cavagnac est aussi connu pour son château dont la tour prinicpale fût érigée au 13ème siècle. L'histoire de ce château peut être consultée sur le site du ptrimoine de la région Midi-Pyrénées en cliquant ICI.