« La maison matérialise le lien entre les personnages et, d'une certaine façon, ce qui se perd entre eux, explique Olivier Assayas. Génération après génération, quelque chose s'est déposé couche par couche, strate par strate dans cette maison. Quand elle est mise en vente, ce qui réunissait les personnages se défait, disparaît, devient béant. La maison est au cœur du film, en tant que lieu à la fois matériel et identitaire. »
En fait, cette maison se trouve à Butry-sur-Oise. Sise rue de Parmain, La Saglière surplombe le village. Son aspect désuet confère une atmosphère particulière au film, sinon une âme.
« Le jardin était magnifique quand nous sommes arrivés au printemps, se souvient Christophe Chauveau, le repéreur. Il avait une beauté naturelle et la maison, une patine caractéristique, difficilement explicable. Olivier n'a pas hésité longtemps. »
Frédéric (Charles Berling) demande une concession au cimetière à la mairie de Valmondois et quelques scènes sont tournées rue de la Croix-Boissière. Une aubaine pour les techniciens qui ont trouvé dans un périmètre restreint tous les décors dont ils avaient besoin.