Palace of Fine Arts rakennettiin vuoden 1915 Panaman-Tyynenmeren kansainvälisen maailmannäyttelyn vetonaulaksi. Maailmannäyttelyllä juhlistettiin Panaman kanavan valmistumista ja San Franciscon selviytymistä vuoden 1906 maanjäristyksestä ja sitä seuranneista tulipaloista. Bernard Maybeck käytti esikuvinaan roomalaista ja kreikkalaista arkkitehtuuria ja suunnitteli rakennuksen roomalaisten raunioiden ympärille. Hänen tarkoituksenaan oli ilmentää ”vaikutusvaltaisimmankin mahdin kuolevaisuutta ja inhimillisten toiveiden turhamaisuutta”.
Palatsi on yksi harvoista rakennuksista, jotka ovat maailmannäyttelystä jäljellä. Sen suojassa on ollut tenniskenttiä, ja se on toiminut armeijan kuorma-autojen ja jeeppien säilytyspaikkana. 1960-luvulla palatsi kunnostettiin entiseen loistoonsa. Kun alue oli riisuttu alkutekijöihinsä, se maisemoitiin ja tiet pinnoitettiin.
Nykyään rakennuksessa sijaitsee tieteen uskomattomia saavutuksia esittelevä Exploratorium. Monet sen interaktiivisista näyttelyistä ja käytännönläheisistä työpajoista on suunnattu lapsille.
Palatsialue on rauhallinen paikka, jossa voi kävellä tai syödä piknikeväitä. Palatsia, suurta rotundaa ja 355-metristä pergolaa ympäröivät puutarhat ja joutsenlampi. Palatsi on suosittu nähtävyys rauhallisen tunnelmansa ja loistokkaan arkkitehtuurinsa vuoksi.
Palace of Fine Arts sijaitsee Marina Districtin alueella Fisherman's Wharfin länsipuolella. Kävelymatka Fisherman's Wharfilta on kolme kilometriä, ja ohitat matkallasi Ghirardelli Squaren. Sinne pääsee helposti myös julkisilla kulkuvälineillä. Useat julkisen liikenteen bussit liikennöivät alueelle. Länsipuolella on myös pysäköintialue, jonne kuljetaan Lyon Streetiltä.