關於雙塔山,有不少有意思的故事。
話說當年乾隆在六七歲的時候,隨著康熙來到雙塔山,對此一直念念不忘,據說後來在其七十歲左右的時候,又來了一次雙塔山。還讓人搭上了雲梯,想親自去看看塔裡到底有什麼。在山上,他看到了神龕、石几、香爐、石几上擺一部舊書。不過書中的字一個也不認識,而在石几下放一雙破草鞋,塔下的廟前有兩畦韭菜。
看到這些,乾隆頓時對雙塔山失去了興趣,便離開雙塔山回到了避暑山莊。晚上倒是做了個夢,夢裡有個老神仙告訴乾隆,你這人真的是沒福氣。看到了天書(舊書)、登雲靴(草鞋)、靈芝草(韭菜)、生雲壇(香爐),都沒拿回來,實在是有眼無珠。乾隆聽後,感到十分後悔,第二天立馬命人再搭了個雲梯,可惜怎麼也搭不了,最終只能作罷。
當然,這只是流傳下來的傳說。有人說雙塔山的塔是契丹人在雙塔峰頂建造的兩座古塔,裡面有遼代皇子的骨灰。不過是何時建造,至今依然是謎。