甘露岩是宋绍兴十六年(公元1146年)，了凝和尚依附岩壁建造了这个寺庙。这个洞穴上部宽30多米，下部宽却只有10多米，呈倒三角形，古人把这地理上的劣势变为建筑上的优势，以独木擎天解决岩势上宽下窄的难题。一根柱子落地，上面建起了四幢楼阁，整个重檐歇山式的层楼叠阁包括上殿、蜃阁、观音阁、南安阁等建筑，皆仗一柱支撑，顶部无需片瓦，造型别具一格。
这个寺庙的全部建筑都是木质的，用T形拱头相连接，没有用一根铁钉。据考证，12世纪时日本重源法师到福建考察，回国后在举世闻名的奈良东大寺大佛殿的建造中大量使用的一种“插拱”，就是取样于甘露岩的T形拱头。50年代，甘露岩寺被列为省级文物保护单位，北京建筑研究所还专门派人来考察，在《人民画报》上发表了该寺的照片。60年代初，庙里僧尼用火不小心，把整座寺庙烧毁了。现在的建筑，是1964年根据原有建筑风格重新修建的。
关于甘露岩寺的由来，还有个动人的故事。相传甘露岩寺以前还只是一座小庙，因为这里供奉着送子观音且十分灵验，所以香火十分旺盛。后来宋代状元叶祖洽的母亲也来此求子，并且许愿道:“如果生了儿子，一定重修这座寺庙，岩有多大，庙盖多大”，后来果然得子，取名叶祖洽，还高中状元。叶状元为偿还母亲的夙愿，于是调集当时天下的建筑高手来此建庙，规模也扩大了许多。如今这根撑起四幢重楼叠阁的柱子，如今也被称为“状元柱”或“如意柱”，到此游客也都会上前抱一抱状元柱，并许个美好心愿。
