Le film est entièrement tourné au château de Vigny. Les Barbouzes viennent ici courtiser la jolie veuve (Mireille Darc) afin de récupérer des brevets de fabrication d'armes absolues (1965). Les habitants du village entendent régulièrement des coups de feu échangés dans le parc et, entre deux prises, peuvent apercevoir le réalisateur Georges Lautner en train de bouquiner sous un arbre le livre de Rémy, « Les Mémoires d'un agent secret » :
« C'est très instructif ! Justifie t-il. Je lis tout ce que je peux trouver sur l'espionnage. Je voudrais en effet introduire dans Les Barbouzes tous les poncifs du genre. Il y aura donc des micros partout, des couloirs secrets, des personnages qui apparaissent et disparaissent. D'autres qui prennent toutes sortes de déguisements, des attentats, des explosions, des bagarres… »
