Mérimée obtient enfin que le chantier soit confié à Joly-Leterme.  Il n'est cependant pas au bout de ses peines. Car si l'architecte, pour l'essentiel (assainissement et consolidation du bâtiment), exécute correctement sa tâche, il a parfois de fâcheuses négligences, oubliant de surveiller un peintre engagé pour restaurer les fresques. Lors d'une tournée, Mérimée, accompagné alors de Viollet-le-Duc, reçoit un choc : « En ouvrant la porte de l'église, j'ai manqué tomber à la renverse (...) Après être demeuré stupide pendant un grand quart d'heure, j'ai retrouvé la voix pour entrer dans une colère telle que Leduc craignait à chaque instant de me voir disparaître par un des trous de l'échafaud. » Car le peintre a barbouillé de couleurs trop vives une grande partie de l'église et surtout il a orné le chœur de motifs déplaisants :

 « Voici ce qu'il a fait : 1° Un père éternel dans une gloire, barbe grise, louchant horriblement. 2° A côté de lui, il avait trouvé un bec d'oiseau. C'était probablement l'aigle de Saint Jean. Il en a fait un coq avec une belle queue (...) Tout cela était exécrable. » (lettre à L. Vitet, 3 septembre 1844). L'indignation de Mérimée est telle que les peintures encore fraîches sont immédiatement ôtées.

La restauration se poursuit ensuite sans incident. Mérimée publie sur cette église qui lui tient tant à cœur une superbe étude que salue le Bulletin monumental, qui affirme qu'aucune commande de gouvernement « n'est plus importante, pour l'histoire de l'art, que ce beau volume in-folio, accompagné de planches coloriées, qui renferme la description des peintures à fresque de Saint-Savin ».