En cette année 1655, Robert Arnauld d'Andilly cultive des pêches pour la table royale et enseigne la poésie latine aux élèves des Petites Écoles, dont fait partie le poète Jean Racine. Sa fille Élisabeth, promise à la vie religieuse par les ultimes volontés de sa mère, lui donne du souci en refusant de suivre un destin tout tracé.
Patriarche de la famille Arnauld bien connue à l'époque, familier de princes, ancien courtisan ayant fréquenté les salons libertins, Robert Arnauld d'Andilly s'est retiré à Port-Royal parmi les « Solitaires » pour mieux mourir au monde. La grande abbaye cistercienne, sur laquelle plane l'ombre de saint Augustin et de Jansenius, sera pour lui le cadre d'une vie champêtre, où il pourra donner libre cours à sa passion des jardins tout en s'adonnant à l'écriture et à la méditation. Malheureusement, la haine des jésuites à l'encontre des jansénistes vient troubler la paix du lieu : son rayonnement intellectuel fait de l'ombre au Roi Soleil.
Malgré son voeu de solitude, Robert d'Andilly reçoit de nombreuses visites dans sa tour d'ivoire. On verra ainsi défiler une série de visiteurs : Blaise Pascal, familier et défenseur de Port-Royal ; la Grande Mademoiselle, cousine du roi Louis XIV ; Madame de Sablé et sa troublante amie la comtesse de Saint-Maur ; Monsieur de Sainte-Colombe ; Pierre Arnauld, disciple de Paracelse ; un gentilhomme hollandais nommé Spinoza, fabricant de lentilles à Amsterdam. Une galerie de personnages avec lesquels Robert Arnauld d'Andilly entretiendra des conversations, parfois secrètes, dont certaines iront jusqu'à le déstabiliser dans ses convictions religieuses et dans ses principes moraux.