Au XVIII ème siècle, lors de la vente du domaine au marquis de Castellane, la terre et la maison d'Ouilly consistaient en "un château et domaine appellé le domaine d'Ouilly, composé de plusieurs chambres hautes et basses, cuisine, cave, galerie, grenier, cour, grange, étable, fenil, four, fournil, le tout couvert de tuiles [d'ardoises, à la Mansart,] allées de charmilles, prés, terres, [labourables] bois taillis et de haute futaye, le tout [...] situés en la paroisse de Montagny, lieu dit à Ouilly en la forêt du Nuglisois, les Brosses d'Ouilly, le bois Bouterat et la grande forêt contenant [...]environ quinze cens mesures..." (contrat de vente du domaine et de nombreuses autres propriétés locales de la famille de Foudras au marquis de Castellane; Archives de S&L, G383 n° 26, cité par R.Oursel). Vingt ans après cette vente, le vieux château, inhabité, comporte deux corps de bâtiments et deux tours séparées du château, une ronde et l'autre carrée : c'est une maison forte qui n'a rien à voir avec l'actuel château "à l'italienne".

Le nouvel acquéreur, à qui le marquis de Castellane avait déjà affermé le domaine en 1774, était Emilien Bruys, marchand à Mazille, Emilien Bruys, qui fut sous-Préfet de Charolles de 1815 à 1818. mourut le 14 juillet 1832, laissant Ouilly à sa famille.  

Espérant le mariage, il fi démolir sa vieille demeure et élever, sur son emplacement, un château plus digne d'une comtesse, dans le goût italien: il est permis de penser que la nouvelle demeure , édifiée à partir de 1832, a inspiré l'architecture du château voisin de Montvaillant ( commune de Clermain).Cette reconstruction fort coûteuse ruina malheureusement son auteur : Léon Bruys mourut à Mâcon le 24 février 1866.   Le domaine changea encore de propriétaire : le 31 août 1868, le comte Aucaigne de Sainte-Croix, alors maire de Cluny et Conseiller général, se portait acquéreur d' Ouilly, pour la somme de 375 000 francs.Il le restaura Le château d'Ouilly, restauré par la famille Aucaigne vers 1880, lui adjoignant un vaste bâtiment abritant en son rez-de-chaussée de magnifiques stalles dont la rumeur dit qu'elles étaient de marbre rose, pour loger ses chevaux, et aménage la forêt adjacente afin d'en faire un lieu propice à la vénerie, et son petit étang pour alimenter en eau filtrée le château, son lavoir, et son orangerie. Il construisit aussi la petite maison de garde du Nid d'oiseau, à côté de la monumentale grille d'entréee.