南北朝時由於梁武帝在此出家,又被大臣多次請回而得名遺愛。
遺愛寺建於南北朝時期,位於廬山香爐峯下,後建築被黃巢起義軍燒燬。
當年白居易做江州(今九江市)司馬時曾遊覽過遺愛寺,就下了:弄石臨溪坐,尋花繞寺行。時時聞鳥語,處處是泉聲的詩句。