淅川的香严寺，传说是为纪念香岩和尚而修建的。

　　武则天执政时，有一年连续六个月大旱，庄稼绝收。为防百姓动乱，武后下令，诏告天下：谁能解除旱情，封万户侯，赏万两银。皇榜贴出数日，竟无人敢揭。

　　一天，一和尚来见武后，自称能解除旱情。他既不跪拜，也不呼万岁，条件是要求武后亲自为其洗脚，并兑现封侯赏银的诺言。和尚如此放肆，令武后大为恼火，只是“君无戏言”，武后只好依从。

　　武后命内侍端来水盆，亲自用小毛刷为和尚洗脚，没料到和尚果不食言。武后为和尚洗得慢，雨就下得小，洗得快，雨就下得快。武后洗了三个时辰，大雨下了三个时辰。

　　天降大雨，武后照榜封赏，和尚这才道出原由：“我本是香岩童子，为救百姓私降大雨，触犯天条，不求赏赐只求一死。请死后将我绑到午门白象鼻上，让白象随意拖去，最后它卧到哪里不动，那儿就是我的安身之地。”说完果然死去。

　　武后按其嘱咐将他交与白象。白象有一天来到淅川南部深山，卧倒在这一山清水秀之地，于是人们在这里埋葬了香岩和尚，并建一寺院，名为“香岩寺”。“岩”“严”同音，后人说成了“香严寺”。