明朝末,貴陽人楊大賓(字君山)少時讀書東山上。後任浙江吳興知縣,因天旱助民抗租而慷慨自刎,時人欽其節義,刻石"君山讀書處"於山頂,以資紀念。東山寺在十年動亂中被摧毀殆盡,僅存屋基。石階兩旁懸崖峭壁上,有摩巖石刻多處,現大多已毀壞。