Budova byla postavena na místě muzejního komplexu španělského koloniálního stylu zničeného zemětřesením v roce 1989. Elegantní formy a originální použití materiálů, charakteristické pro Jacquesa Herzoga a Pierra de Meurona, vyvolaly aktivní odpor konzervativních orgánů města, ale vytrvalost správy muzea přesto umožnila realizaci projektu.
Struktura je zcela obložena mědí (bylo použito celkem 7 602 panelů různých tvarů) a je největší budovou pokrytou tímto kovem na světě.
Hlavním prvkem projektu je zakřivená věž, která se tyčí nad korunami stromů parku Golden Gate, kde se nachází muzeum. Nabízí výhled na město a také spojuje budovu se San Franciskem: velikost věže umožnila, aby se stala výrazným prvkem městské krajiny.
Hlavní objem, obdélníkového půdorysu, je řezán malými nádvořími osázenými kapradinami. Prosklené stěny učinily tyto zahrady součástí interiéru muzea.
Zvláštní pozornost byla věnována architektům, aby zdůraznili nepřetržitý tok prostoru: vstup do muzea je propojen s velkou vstupní halou otevřeným nádvořím, odtud vede široké schodiště do hal druhého patra. To také usnadňují zakřivené půdorysy výstavních hal. Interiéry muzea jsou zdobeny eukalyptovým dřevem.
Náklady na celý projekt činily 190 milionů $, které byly vybrány soukromými osobami, a to navzdory skutečnosti, že jak sbírka (umění z Afriky, Oceánie, Střední Ameriky), tak samotné muzeum patří městu.
