Durant les 33 années qui suivirent, Ferdinand Cheval ne cessa de ramasser des pierres durant sa tournée quotidienne, les portant d'abord dans ses poches, puis se munissant d'un panier voire d'une brouette en certaines occasions. Revenu à son domicile, il passait de longues heures à la mise en œuvre de son rêve, travaillant même de nuit à la lueur d'une lampe à pétrole. Il était à l'époque considéré comme un excentrique par les gens du cru, qui ne disposaient pas de la vision d'ensemble qu'avait l'architecte.