Dans les années 50 et 60, Olivier Chevrillon collabore à la revue Esprit et au Club Jean Moulin.
Au cabinet d'Alain Savary, il prend part aux négociations d'indépendance du Maroc et de la Tunisie. Principal collaborateur de Gaston Defferre lors de sa campagne présidentielle de 1964-1965, il participe à l'élaboration du Défi américain de Jean-Jacques Servan-Schreiber avant que celui-ci ne lui confie la responsabilité de L'Express. En 1971 il propose à d'anciens rédacteurs en chef de cet hebdomadaire le projet qui deviendra Le Point grâce à l'appui du groupe Hachette.
Il reste jusqu'en 1986 le patron et l'éditorialiste du Point. Il sera directeur des Musées de France de 1987 à 1990.