Umjetnička galerija nalazi se u parku Joubert, nekoliko blokova od glavne željezničke stanice u Johannesburgu. Zgrada je projektirao britanski arhitekt Sir Edwin Lachensom i sastoji se od 15 izložbenih dvorana, kao i nekoliko izložbenih prostora na otvorenom do velikih skulptura. Njegov arhiva je skup britanskog i nizozemskog slikarstva XVIII-XIX stoljeća, zbirka europskih slika XIX stoljeća, kao i veliku zbirku suvremenih djela Južne Afrike i međunarodnih umjetnika.

Sakupljač Dorothea Sarah Alexander Florence Phillips, supruga rudarstva magnata Lionel Phillips formira prvu zbirku galerije na teret sredstava udružuje njezin suprug. Nakon preseljenja u Johannesburgu, počela je snimati fotografije s ciljem stvaranja umjetničku galeriju, koja je kasnije postala Johannesburg Art Gallery. To stekla zbirku slika britanska umjetnika i kolekcionara Sir Hugh Lane, izlagao je u Londonu 1910. godine. Lady Phillips donirao svoju zbirku čipke i uvjerio svog muža prenijeti na sedam galeriji slika i skulptura Rodin.

Zbirka galerije uključuje radove Auguste Rodin, Dante Gabriel Rossetti, Pablo Picasso, Camille Pissarro, Claudea Moneta, Edgar Degas, Herbert Ward i Henry Moore, kao i rad južnoafričkih umjetnika - Gerard Sekot Walter Battissa, Alexis Prellerove, Maud Sumner, Sydney Kumalo i drugi.

Johannesburg Umjetnička galerija je otvorena za javnost 1910. godine na kampusu Sveučilišta Witwatersrand. Arhitekt, Sir Edwin Lachens pozvali Lady Phillipsa, došao u Južnoj Africi 1910. godine istražiti područje i započeti gradnju zgrade galerije. No, zgrada nije dovršena prema nacrtu arhitekta. Pet godina kasnije, s početkom gradnje, zgrada je otvorio svoja vrata za javnost, bez ceremonije, neposredno nakon Prvog svjetskog rata.

Krajem 1940-ih, galerija zgrada je proširena u skladu s dizajnom arhitekta Lachensa - izgrađena zapadu i istočno krilo zgrade. Sjeverna krilo galerije s modernim pročelja sagrađena je tijekom posljednje obnove zgrade u 1986-1987 godini.