Rond 1300 werden mensen die geïnfecteerd waren met lepra uit de stad gejaagd en ondergebracht buiten de stadsmuren (zie tweede prent). In 1412 kreeg het Haarlemse leprooshuis van graaf Willem VI het monopolie op lepraschouw: alle mensen die mogelijk geïnfecteerd waren in Holland, Zeeland en West-Friesland moesten zich in Haarlem laten onderzoeken. In de zeventiende eeuw verdween de lepra-ziekte uit ons land.
In de zestiende eeuw kwam er een nieuwe bewonersgroep naar het huis, zo’n dertig krankzinnigen. Als men je agressief of lastig vond, werd je opgesloten in een van veertien 'dolcellen'. De meer rustige patiënten liepen vrij rond. Het luikje boven in een cel zorgde voor licht en lucht. Er was een buitendeur en een binnendeur met tralies. In de winter werden tussen de twee deuren hete stenen gelegd tegen de kou. In de cel stond een houten krib en een poepdoos.
Na de invoering van de krankzinnigenwet in 1841 werd het gebouw ingericht als gesticht. Tegenwoordig is het Museum van de Geest hier gevestigd.