L’église Saint-Jacques-le-Majeur est orientée à l’est et suit un plan atypique, hérité des différents remaniements subis au fil des siècles. Celui-ci est composé de deux blocs : un bloc occidental court et étroit faisant partie de la construction d’origine, qui forme les deux dernières travées de la nef et comprend la travée sous clocher ; un bloc oriental plus massif, du XVe ou XVIe siècle, composé d’une travée de nef supplémentaire formant transept et d’une travée de chœur à fond plat, flanquée au sud d’une sacristie moderne.

De l’extérieur, l’église de Milly donne l’illusion d’un édifice homogène, notamment grâce au traitement des maçonneries en jointement<ref>Rapport de Frédéric Didier </ref>. La façade de l’église est ouverte d’une porte entourée d’un cadre de pierre de taille en saillie, dont le seuil est surbaissé par rapport au niveau de la place<ref>Ibidem</ref>. Ce petit portail est directement surmonté d’un oculus, tandis que les vestiges d’une petite baie romane murée sont visibles en haut du pignon (elle devait à l’origine éclairer la nef, alors probablement charpentée). L’ouest de la nef est flanqué au sud par un escalier extérieur d’accès au clocher, surmonté d’une petite baie carrée. Une corniche à petits modillons nus court au-dessus de cet ensemble. La travée sous clocher est flanquée de deux gros contreforts de chaque côté, et percée au sud d’une petite fenêtre rectangulaire. Le clocher de plan carré comporte un seul niveau de baies géminées sur colonnettes, délimité par un cordon de pierre saillant. Ce beffroi est semblable à celui de l’[https://wiki-macon-sud-bourgogne.fr/index.php?title=Eglise_Saint-Paul_%C3%A0_Bussi%C3%A8res église de Bussières]. Le clocher est surmonté d’une flèche de pierre portée par une charpente (la flèche est similaire à celle de [[Chevagny-les-Chevrières]]).