上海歷史博物館是從1850年代的上海跑馬廳建築羣,到1950年代的上海圖書館和博物館,再到1990年代的上海市美術館,最後到現在的上海歷史博物館,是經過多次的利用舊址規劃設計改造的成果。
現在的東樓和西樓都是通過地下展廳連接,西樓是1928年建造的,東樓是1934年建造的,現在已成為上海市重要的文化活動場所。