Le roman retrace la vie d'un immeuble situé au numéro 11 de la rue (imaginaire) Simon-Crubellier, dans le 17e arrondissement de Paris, entre 1875 et 1975. Elle évoque ses habitants, les objets qui y reposent et les histoires qui directement ou indirectement l'ont animé.
Comme dans le tableau idéal de Valène, le professeur de peinture de l'immeuble, le lecteur découvre « une longue cohorte de personnages, avec leur histoire, leur passé, leurs légendes », comédie humaine où les destins entrecroisés se répondent, à l'image de la curieuse création de l'ébéniste Grifalconi, « fantastique arborescence », « réseau impalpable de galeries pulvérulentes ».
Gravures populaires, tableaux de maître, affiches publicitaires offrent l'occasion d'autant de digressions et de récits : faits divers, rigoureuse desription scientifique, recette de cuisine, listes en tout genre.
De cette tentative d'inventaire et d'épuisement d'une portion de réel, surgissent des figures propres à l'imaginaire perecquien : escrocs et faussaires, aventuriers, savants faustiens, génies méconnus ou incompris, invalides et miraculés, milliardaires ruinés, inventeurs, négociants, humbles domestiques anonymes.
L'intrigue proprement dit débouche sur une tragédie et la mort des protagonistes principaux.