La famille Sales (à l’origine, puis de Salles) est connue depuis le 9^ième siècle, en Savoie, où elle est puissante. Rapidement elle s’établit en Albigeois, une branche seulement demeurant en Savoie. De génération, le seigneur de Salles est traditionnellement attaché à la suite du Comte de Rodez, lui-même vassal du Comte de Toulouse, puis vers le milieu du 12^ième siècle, à ce dernier directement.

Au début du 12^ième siècle, Gaubert de Salles de Savoie reçois du Comte de Rodez, en récompense de ses services, un fief près de Rodez appelé Salles-Comtaux (aujourd’hui Salles la Source). Il s’agissait en réalité de trois villages rapprochés comportant trois églises et cinq forteresses féodale dans lesquelles la famille s’établit.

Au 13^ième siècle, ayant embrassé les doctrines cathares, les Salles doivent fuir les persécutions de Simon de Montfort. Ils se réfugient à Cordes, près de Gailhac, sous la protection du Comte de Toulouse. Cette ville deviendra le fief de la famille de Salles pendant les siècles suivants.

En 1573, devenu la place forte des huguenots, le Château est pris et rasé par Monsieur de Saint-Hérem, gouverneur du pays. Après les guerres civiles, le Château est réédifié. Pendant quelques années, il est habité par François de Salles, vaillant capitaine de Charles de Valois, Seigneur de Vézac et de l’Ouradou, qui en vend une partie au Sieur de l’Arbre en 1597.

Au début du 17^ième siècle, le Château et la terre passent à la Maison de Giou, puis à la Révolution, la seigneurie de Vézac devient la propriété du Marquis de Miramont.

La famille de Salles quant à elle s’éteint avec le décès, sans descendant, de François de Salles en 1858.