En 1636, alors que Louis XIII est en guerre avec l’Espagne, Gallas, général espagnol, ravage les environs et se rapproche du Villars. Les Bénédictines décident donc de quitter le village. Certaines se réfugient à Tournus<ref>Ces sœurs s’installent alors dans [https://wiki-macon-sud-bourgogne.fr/index.php?title=Ancienne_%C3%A9glise_Saint-Val%C3%A9rien_%C3%A0_Tournus l’ancienne église Saint-Valérien.]</ref>, d’autres à Mâcon. En 1640, quelques-unes d’entre-elles reviennent. En 1662, elles ne sont finalement plus que trois au Villars<ref>La dernière meurt finalement en 1677.</ref>. En 1675, une visite pastorale nous renseigne sur l’état de l’église paroissiale, qui est alors en bon état. En 1679, un cyclone cause néanmoins de nombreux dégâts au Villars, et notamment à l’église. Les dommages causés à la nef sud et au cloître sont considérables et jugés irréparables. La fermeture du couvent est donc décidée en 1692. En 1695, le prieur Claude Bouchet autorise sa démolition, avec l’accord du cardinal de Bouillon, l’abbé de Tournus et l’évêque de Mâcon. Seules la nef conventuelle et l’aile nord du cloître sont conservées, afin de ne pas fragiliser l’église paroissiale romane.

En 1718, les revenus du prieuré sont réunis à ceux de la mense du chapitre de Saint-Philibert à Tournus<ref>Rigault</ref>. En 1724, une enquête est ouvertes sur l’extinction du titre de prieuré de Notre-Dame du Villars<ref>Sapin</ref>. A la Révolution, les bâtiments restants du prieuré, l’église paroissiale, ainsi que les terres et les vignes appartenant au chapitre sont vendus comme biens nationaux pour 62 000 livres<ref>Ibidem</ref>. La nef conventuelle sert dès lors de grange. Au début du XIXe siècle, la commune récupère vraisemblablement l’église paroissiale. En 1818, des réparations sont faites à la voûte de la nef<ref>Document affiché dans l'église</ref>. En 1858, le cimetière qui bordait jusqu’alors l’église est déplacé en dehors du bourg. En 1891, des travaux sont de nouveau menés sur l’église. Ils concernent notamment la toiture qui s’effondre en partie et entraîne d’importantes infiltrations d’eau.