赤灣地理位置重要,據史書記載,古代船舶往來廣州與南洋諸國,皆經此地。
從明代起,官府已在附近的南山設置墩台以防海盜,清康熙年間(1662——1722)始於赤灣修建炮台,赤灣炮台始建於康熙五十六年(1717年)。
當時福建提督楊琳調任廣東巡撫。
他主持修建沿海炮台、城垣、防地等軍事設施126處,其中炮中26處。
赤灣炮台是其中之一,據記載赤灣左、右炮台設兵數千名,生鐵炮6位,另有12門大炮被稱為“佛郎機”炮,是西式武器,其製法是北宋時由廣州傳入的。
鴉片戰爭期間,林則徐佈防珠江口,曾重修赤灣炮台。
廣東水師提督關天培曾領兵在伶仃洋上擊敗英軍,赤灣炮台為林則徐禁煙曾立下汗馬功勞。