慶長の大地震で藤新道が崩れて柳津が大湛水になったとき、飯谷山の山の裏側が崩れてできたのがこの白沼だそうだ。そのころ、小杉山の村は大杉山村といって白沼のあたりにあったそうだが、この飯谷山の山崩れのためにこの村が埋れてしまい、助かったのは男女僅かに五人、他の百余人はことごとく土砂の中に埋没してしまったそうである。
この時、大杉山村のところにほど近く、白沼ができたのだが、水の色が淡白にみえるところから白沼と名付けられている。
また、飯谷山頂に人が立って、その影が白沼に映るとその人はこの沼の主に引きずりこまれてしまうそうだ。地震、山崩れで生き埋めになった人が呼ぶのだとか、いやそうではない。飯谷山にいた大蛇が住むところがなくなってこの白沼の主になったそうだから、この白沼の主が呼ぶのだ、などと伝えている。