昔、ここには深い湖があり、秩父へ向かう旅人はみなその傍らを通った。しかし、この湖には悪龍が棲んでいて、その旅人達を喰うのだった。村人たちは悪龍の機嫌を損なわぬよう、お供えをしたりたくさん龍神を祀ったりしたが、悪龍の乱暴は静まらず、その噂は太田道灌にまで伝わった。
道灌は悪龍を鎮めようと、師として尊敬している雲崗俊徳和尚を頼んだ。和尚はたくさんのありがたい経典を持ち、この湖にやってきた。そうして一心に悪龍を説得するうちに、その霊験によってか悪龍たちは過去の悪行を断ち切って、仏様を敬い善龍となって奉仕することを約束した。
善龍になった龍たちは、竜巻に乗って天にのぼり、湖の水は巻き上げられて底が見え、何年かして平地になったという。ここに龍の教化を記念し、道灌の援助により寺が建てられた。龍の心が静かになったということで、龍穏寺といい、土地を龍ヶ谷という。