Vanwege een overvloed aan ouderloze kinderen werd in 1656 het voormalige Maria Magdalenaklooster, dat tot die tijd werd gebruikt als pesthuis, in gebruik genomen als weeshuis. Dit Arme-kinderhuis stond op de hoek van de Magdalenastraat en de Kinderhuisvest, die naar het tehuis is genoemd.
Toen het tehuis werd geopend werden al snel 433 ouderloze kinderen toegelaten. Dit aantal groeide vervolgens tot zo'n 600 wezen. Rond 1765, toen het Arme-kinderhuis werd samengevoegd met het kleinere Heilige Geesthuis, werd de naam veranderd in 'Burgerweeshuis'. In 1810 verhuisde het Burgerweeshuis, dat ook wel Gereformeerd Weeshuis werd genoemd, naar het voormalige Oudemannenhuis aan het Groot Heiligland, waar het tot 1908 gevestigd zou zijn. Uiteindelijk belandde het weeshuis aan de Olieslagerslaan en werd de naam veranderd in 'Coen Cuserhuis'.
Op dit schilderij van Jan de Bray is goed te zien wat voor soort kleding werd gedragen in een arme-kinderhuis. Het meisje in het midden van het schilderij neemt een brood aan van de huismoeder. Ze draagt een zwart jasje, waarvan één mouw rood is, en een zwarte rok. Het jongetje naast haar draagt dezelfde jas. Op deze manier kon iedereen uit de stad zien dat deze kinderen van het Arme-kinderhuis kwamen.
De ondertitel van dit schilderij, 'Drie daden van barmhartigheid', verwijst naar drie van de zeven daden die iedere dag in het Arme-kinderhuis uitgevoerd moeten worden. Zo zie je dat het meisje in het midden wat brood krijgt (de hongerigen spijzen), dat het meisje achter haar te drinken krijgt (de dorstigen laven) en dat de jongetjes aan de linkerkant van de voorstelling kleren aan krijgen (de naakten kleden).
Jan de Bray maakte dit schilderij in opdracht van het Haarlemse Arme-kinderhuis. De betaling aan De Bray is genoteerd in het kasboek van het weeshuis: hij kreeg er 72 gulden voor. Het schilderij kreeg een plaats boven de schoorsteen in de regentenkamer van het weeshuis. De Bray lijkt er daarom ook rekening mee te hebben gehouden dat het schilderij vanuit een laag standpunt zou worden bekeken.
