Jean-Marie Rouart appartient à une famille de peintres.
Son arrière-grand-père Henri Rouart, polytechnicien, inventeur de moteurs et de machines thermiques, fut élève de Corot et ami de Degas. Son rôle de collectionneur a fait date dans l'histoire de l'impressionnisme. Son autre arrière-grand-père, Henry Lerolle, était également peintre et ami de Degas. Les deux filles d'Henry Lerolle épousèrent les deux fils d'Henri Rouart. Julie Manet, fille de Berthe Morisot et d'Eugène Manet, frère d'Edouard Manet, épousa Ernest Rouart, un autre frère.
La cousine de Julie épousa Paul Valéry. Tout le monde peignait et vivait dans la familiarité des plus beaux tableaux de Manet, Renoir, Degas, Corot et bien d'autres. Jean-Marie Rouart a été élevé dans ce monde de la peinture, prolongé également par son père et par son oncle. Il a évoqué de nombreux souvenirs dans son livre Une jeunesse à l'ombre de la lumière (Gallimard, 2000), sans pouvoir décrire ou montrer ces tableaux qui furent ses compagnons de jeunesse.
Ces oeuvres, qui souvent représentent des membres de sa famille, sont dispersées dans des musées aux quatre coins du monde. Dans cet ouvrage, montrant plus de cent trente peintures et photographies d'époque, Jean-Marie Rouart a essayé de réintégrer ces tableaux dans le décor qui fut si longtemps le leur et qui fut le cadre de sa vie.