四望亭的始建年代有兩種説法,一説是建於南宋嘉定年間,另一種説法是明嘉靖年間。而且都有古代縣誌記載,《萬曆江都縣誌》中引用宋代《寶佑志》記述:“四望亭在州治南,寧宗嘉定年間(1208-1224年),特授直寶謨閣、權發遣揚州事、主管淮東安撫司事崔與之建。”
清代《乾隆江都縣誌》中則記載着四望亭始建於明嘉靖三十八年(1559年),在康熙、雍正年間都曾修葺。
四望亭位於揚州市四望亭路東首,汶河路西側。其始築年代,一説南宋嘉定年間,一説明嘉靖時。原名文奎樓,後名魁星閣,是江都縣學的組成部分。