Lors d'un voyage scolaire en Allemagne, un jeune professeur découvre au camp de concentration de Buchenwald la photographie d'un détenu dont la ressemblance avec son propre père, Adrien, le stupéfie.
Rentré en France, il retrouve son père, sa famille, mais le souvenir de la photographie ne le quitte plus. Il décide alors de se lancer dans une recherche qui va bouleverser sa vie.
Ce détenu, nommé David Wagner, se révèle être son véritable grand-père. Peu à peu se met en place l'autre famille, la branche Wagner, la branche cachée, celle dont personne chez les Fabre n'évoque l'existence. Et c'est le destin croisé de ces deux familles, deux générations plus tôt, lorsque l'ambitieux David Wagner rencontra le riche Marcel Fabre et sa femme Virginie, qui éclate alors au grand jour, ainsi que les terribles conséquences que la liaison entre David et Virginie entraîna.
Au cours de sa quête à travers la France et l'Allemagne, dans la nouvelle vie qu'il tâche d'inventer avec une allemande qu'il vient de rencontrer, le jeune homme se rend compte qu'on ne se débarasse pas si facilement du passé - ni du sien ni de celui de sa famille. Lorsqu'on remonte à l'origine de la violence, c'est sa propre violence qu'on finit par rencontrer.