Le domaine de Castries est attesté dès le XIIème s. mais la reconstruction du château dans le style Renaissance au XVIème s. a masqué les rares vestiges du Moyen Age.

Au XVII° s., René Gaspard de Castries reconstruit le château, endommagé par les guerres de religion : création de l'escalier d'honneur, construction de la grande salle des Etats, couverture des pavillons d'angles de toitures à brisis et terrassons  d'architecture classique parisienne.

La création des plans du jardin à la française (1666), est attribuée au célèbre architecte paysager André Le Nôtre, avant sa consécration comme jardinier du roi Louis XIV pour l'aménagement du parc de Versailles.
Le parc s'étend de façon originale sur un axe de composition Est/Ouest, perpendiculaire à celui du château Nord/Sud, en raison des contraintes de terrain et des constructions voisines.
Le jardin à la française, emblème du XVIIe siècle, domestique et ordonne la nature selon les principes de la géométrie, de l'optique et de la perspective ; symbolisant la victoire de l'ordre sur le désordre, de la culture sur la nature sauvage, du réfléchi sur le spontané.

L'axe de perspective ordonne des allées symétriques, des alignements d'arbres de haute futaie, les parterres et bassins. Les compartiments libres de ce plan parfait sont occupés par les broderies de buis taillés, les parterres et les bosquets.
Plus on s'éloigne du château et du cœur du jardin à la française, plus la campagne reprend ses droits.

La création de ce grand parc verdoyant, vaste espace de 9 hectares, était conditionnée par une alimentation en eau importante et régulière. Elle est fournie par un aqueduc de presque 7 km, construit par Pierre-Paul Riquet, futur concepteur du Canal du Midi.

L'eau était utilisée en premier lieu comme élément d'agrément dans les bassins décoratifs, redistribuée par un réseau enterré aux niveaux inférieurs successifs : bassins des boullingrins, puis au nymphée du parterre de broderies de buis et enfin au miroir d'eau et à son jet d'eau.

Après la Révolution, qui voit la vente du château, le second duc de Castries rachète la majeur partie du domaine familiale et confie la restauration du château à l'architecte Ferogio qui en modifie considérablement l'aspect et l'habille d'une esthétique proche du classicisme français.

Au début du XXème s., René de la Croix de Castries entreprend une grande campagne de restauration et redessine l'ordonnancement de la cour d'honneur et du parc d'après les plans d'archives et épure la grande cour d'honneur de son jardin anglais.

A sa mort en 1986, le dernier duc de Castries, historien et académicien lègue le château à l'Académie Française qui en confie ensuite la gestion au Conseil Régional.