Ce livre est le fruit de dix années passées auprès des hébergés du Samu social de Paris, dans un Centre d'hébergement et de soins infirmiers du XIVe arrondissement.
L'auteur y a créé un atelier d'écriture qui est devenu, au fil des années, un lieu où des gens invisibles et muets - ceux qui vivent l'effroyable solitude de la rue - ont trouvé la possibilité, puis l'envie, puis le bonheur de s'exprimer. Les hôtes de cet atelier, en en franchissant le seuil, déposent momentanément leur rudesse d'hommes et de femmes meurtris, méfiants, pour révéler peu à peu un visage fragile, inattendu.
En écrivant ce livre, Babeth Fourest a voulu faire entendre leur voix, et que l'on s'attarde sur leurs textes qui nous font toucher du doigt combien mince est la frontière derrière laquelle nous nous retranchons face à eux. Lors d'un atelier dont le thème était le besoin et l'envie, l'un des participants a laissé un papier sur lequel était écrite cette seule phrase : J'ai besoin d'un toit, mais j'ai envie du château de Chambord.
D'où le titre de cet ouvrage.