In het boek van stads- en dorpsbeschrijver Lieve van Ollefen uit 1796 wordt verhaald over een ‘bijzonder man’ die zich toentertijd in het Rietveld had gevestigd. Hij werd ‘de Heremiet’ genoemd, een religieus kluizenaar. 
Het Rietveld wordt in het boek beschreven als een voorheen moerassig gebied met veel riet en hier en daar een eendenkooi. “Het draagt de naam Rietveld omdat deze polder tevoren uit niets anders dan enig riet bestond. Waar men gemakkelijk een stok van 12 voet lengte (3.60 m) in de bodem kon steken, zonder dat men enige vaste grond voelde”. Maar met de komst van de watermolen en het ophogen van het land was het inmiddels wel “een goede streek lands” geworden. De dorpsbeschrijver doelde waarschijnlijk op het Alphense deel van het Rietveld. “Deszelfs grootte beslaat 234 morgen ( ca 200 ha). Het getal der huizen nevens dat van de inwoners is onder dat van Alfen begrepen, zowel kerkelijk als rechterlijk”.
De bijzondere bewoner die in dit deel van het Rietveld was neergestreken was een bedelaar die had rondgehangen in Delft en Den Haag. Laatst nog had hij gebedeld bij de buitengalg in Rijswijk, waar 4 lijken hingen en er dus veel bekijks was. Het ging om een aan lager wal geraakte boer uit de omgeving Amstelland. Of moeten we juist zeggen: in hogere sferen geraakt?
Bedelaars in het toenmalige Alfen werden verbannen naar het Bedelaarsbos in het Rietveld. (Dit gebied aan het Rietveldsepad heet ook nu nog zo.) Daar, aan het jaagpad bij de toenmalige watermolen, bouwde hij voor zichzelf een lage ‘kluizenaarshut’ van takken en riet, waar je alleen maar kruipend in kon. “De hut had een eetplaats met een houten bank, die tevens als tafel diende en verder potten en schotels. Daarnaast was er ook een slaapplaats, een soort bedstee, zindelijk ingericht met een bed, lakens en dekens”. De Heremiet kreeg dagelijks veel bezoek van burgers van allerlei stand uit de omgeving ‘aan wie hij verzekerde dat hij van 30 gulden een heel jaar leven kon’. Bedelen deed hij nadien niet meer, levend van ‘hetgeen hem werd aangebracht’ door degenen die hem kwamen bezoeken. Wel sprokkelde hij hout voor de ‘winterbrand’. “Ook vist hij alle drijvende biezen, ruigten en andere vuiligheid uit het water op, die hij tot mist doet rotten en die hij dan verkoopt aan de bruikers der landen”.
