来到龙川风景区灵山庵，可以看到灵山庵三个大字镶钦在门楣上。当您走进庵堂时，一定要跨过门槛，因相传门槛代表菩萨的肩膀，以示对佛的尊重。这座在县志上记载438年历史的庵堂，在最早的石碑上刻有捐助者的姓名。可惜在十年浩劫中毁于一旦。后在2000年在旅游局、宗教局及航佳集团的倡议下重新修复。
整个庵堂分为三间二进，抬头可看见上方悬挂一匾额“了悟大乘”，即“感悟大乘佛教”。主殿供奉的是观世音菩萨。观音菩萨在不同场合能以不同姿态出现，因为她有三十三变之身。后殿供奉的是释迦牟尼佛，即如来佛祖。如来佛祖法力无边，手下的八大金刚、十八罗汉、各路菩萨，个个都有千般变化。
庵堂规模虽然不大，但在明清两际时，香火确十分鼎盛。据史书记载，灵山庵最早并非庵堂，在宋朝时原为税务机构，而在明朝时则为兵部尚书胡宗宪小时习文练武的练场，后因一风水先生看过之后，觉得此处地势险峻，状如木鱼，宜佛不宜武。故于明嘉靖后期辟为庵堂。四时八节，皖浙两省等地烧香礼佛，还愿者不计其数。在这还流传着一些至今还被当地老百姓广为流传的一则“胡雪岩子愿母还”的故事。
清光绪年间，湖里村的胡雪岩十多岁时，途经此地到杭州学生意，小胡雪岩在灵山庵休息时，曾对观音菩萨许下一个愿，若他日后能赚钱发财，出人头地，一定回来给菩萨重塑金身，辉煌庙宇。后来胡雪岩果然成了红顶商人官至二品。然而，可能因为忙，胡雪岩一直没有回过老家，也就没有还愿的机会，胡雪岩的母亲倒是记住这件事，于是，她就代儿子到灵山庵给观音菩萨还了愿。子愿母还，菩萨即不高兴，胡雪岩降临了厄运，一落千丈，终致破产抄家，一代红顶徽商巨贾，遭受了灭顶之灾。虽然这是一则传说，但可想而之那时的灵山庵的香火之盛了。
