Paviljoen Welgelegen werd eind achttiende eeuw gebouwd in opdracht van de bankier Henry Hope. Henry was gouverneur-generaal van de West-Indische Compagnie en in die functie betrokken bij de slavenhandel.
Henry woonde zelf niet lang in het pand. Als Oranjegezinde verlaat hij Nederland definitief in 1794. Zijn aangenomen zoon, John Williams, verkoopt het paviljoen aan Lodewijk Napoleon, die hier wel iets in ziet, maar het eigenlijk nauwelijks bezoekt. Als de Fransen vertrekken komt de villa in handen van het Koninkrijk der Nederlanden.
Vanaf 1814 tot haar dood in 1820 woonde Wilhelmina van Pruisen, vrouw van Willem V, in het Paviljoen. De "W" op het fronton (gevel) duidt op Wilhelmina. Rond 1770 werden Sideron (uit Curaçao) en Cupido (uit Guinea) als kind cadeau gedaan aan het echtpaar. Of de zwarte bedienden ook in het Paviljoen verbleven is onbekend.
Tussen 1871 en 1923 was in het Paviljoen het Koloniaal Museum gevestigd, de voorloper van het huidige Tropenmuseum in Amsterdam.
