Deux hommes dans la ville est la conséquence d'une actualité riche en révoltes et suicides dans les prisons, campagnes pour les droits communs et exécutions capitales qui ont égrainer cette année 1973.
Le décor est précisément situé dès le générique, quand un train arrive en gare de Pontoise. L'éducateur Jean Gabin rend visite au jeune Gino (Alain Delon) qu'il a défendu lors de son procès et qui est détenu dans une prison parisienne. José Giovanni s'est inspiré des mésaventures d'un de ses amis nantais qui, après être sorti de prison, a été embauché comme carrossier.
« À l'époque, les policiers ont tout fait pour lui faire perdre sa place. Dans le même temps, des truands l'incitaient à revenir à ses anciennes activités. »
Le tournage a été éprouvant pour Gabin, à peine remis d'un malaise. Alors qu'il est habitué à tourner essentiellement en studio, le réalisateur l'a fait travailler dans quatre-vingt lieux différents en huit semaines.
« Jean Gabin avait son ingénieur du son attitré, Jean Rieul. Il était meilleur quand il parlait très bas. Les autres acteurs étaient donc invités à jouer sur ce ton. Parfois, alors qu'on entendait une mouche voler sur le plateau, le technicien explosait : "C'est quoi ce bordel ! On n'entend plus Monsieur Gabin !" ; ce qui était une façon de lui signifier de parler un peu plus fort. »
