Numa tarde invernosa, Ana, sentindo que em cinco anos não conseguiu abrir uma frecha por onde pudesse entrar a paixão, decide deixar-lhe as chaves e ir-se embora. Contrariamente à sua amante, para quem o acto de amar representa uma entrega total, sagrada e secreta, ele acredita na liberdade do amor, liberdade que o impossibilita de escolher por ela e de lhe pedir que não parta, limitando-se a explicar-lhe que "o amanhã no amor sem amanhã" se resume a tristeza e vácuo.
Permanecem na cama, abraçando-se e falando sobre amores passados, ancorados para a eternidade, inolvidáveis. Ana apercebe-se que nutre por ele a paixão que ele sentiu por outra, e que o impede agora de a amar. Ele relembra-lhe a paixão não correspondida que outro teve por ela.
Silêncio para 4 assemelha-se a uma peça de teatro em um único acto, onde se caracteriza um amor de desencontros e ausências, no qual planos adiados são substituídos por descrições imaginárias de passeios na altura da Primavera ("Se fôssemos todos os dias à praia, era terrível, melhor alimentar a imaginação aqui na cama, é precisa muita imaginação para viver aqui estes anos todos, assim gostando um do outro").
Em vez de presentear Ana com "um dia fora do mundo", ele fá-la deitar-se enquanto escreve a história da imaginação de quatro pessoas que gostam umas das outras por fantasia, "fazendo amor, falando de amor, trocando amor, conversando de amor, falando de nada". De quatro pessoas vivendo em silêncio por dependerem de palavras, "palavras que não servem para saxofone palavras que evitam o amor que nunca fazem amor o amor é silêncio intimidade a palavra estraga rompe o amor não deixa o homem entrar na mulher palavras que ficam estampadas na roupa a secar pendurada em todos os bairros altos do mundo".
Silêncio para 4 foi publicado pela primeira vez em 1973, pela Moraes Editores, no Círculo de Prosa.