Das Rosenbach-Museum ist in zwei benachbarten townhouses aus der Mitte des 19. Jahrhunderts im Viertel um den Rittenhouse Square untergebracht, die als Teil des Gesamtensembles Delancey Place unter Denkmalschutz stehen.