南嶽衡山有七十二峯,最南端即位於衡陽的回雁峯。古人認為回雁峯地勢極高,阻擋了雁南下的進程,故而將衡陽當作大雁南飛之極點。這是想當然之論,衡山七十二峯中最高的乃位於回雁峯北面的祝融峯,南來的大雁能夠飛越祝融峯,不能飛不過回雁峯。
湖南衡陽有雁回峯,乃衡山七十二峯之一,傳説大雁飛到那裏便不會繼續向南了,衡陽因而有雁城的別稱。柳宗元過衡山,曾留下“晴天歸路好相逐,正是峯前回雁時”的詩句。