五郎が鷹ヶ岡で斬られて間もなく、大水で十郎の亡骸が流れてきたので、五郎の墓のそばに葬られた。後に福泉寺は洪水で流されたので、兄弟の墓も今のところに移された。福泉寺は今は曽我寺という。
曽我寺には兄弟の墓のほかに、虎御前と化粧坂の少将の辞世の歌を刻んだ石碑などがある。本堂には兄弟の木像と位牌もある。そして兄弟の墓のそばには一本の柿の木があったが、その根本に、頭の形が木瓜の実に似た二匹の蛇が住んでいたという。
ある時、近所の人がこの蛇を見て驚き、気味が悪いと棒で叩き殺して凡夫川に流した。そしてその話を友達にしたが、それはとんでもないことだ、あの二匹の蛇は十郎と五郎の化身で、いつも一緒に遊んでいたのだ、木瓜の実のような頭の模様は、曽我家の紋、イオリモッコウだ、といわれた。
それから蛇を殺した人は高熱で苦しんだが、無理にも曽我兄弟の墓にお参りして謝り、墓を祠に入れて供養したそうな。それから、その柿の木に成る柿は、種が木瓜の実のようになった。寺では、兄弟の魂が柿に乗り移ったのだといって大切にしたという。
曽我兄弟は一応仇討ちを果たして死んだので、その怨念がどうという話にはならない。この曽我兄弟の蛇は、残念の蛇というよりは、人が死んだら蛇になる、という感覚（「蛇」）に近しいものかと思う。
一方の、無念の死により、その怨念残念が竜蛇と化すという話は、近くでは山中城主松田康長の伝説などにあるが（「田尻池の竜」）、連続して見ていくと、その線引きがけっこう難しいのが感じられるだろう。
しかし、その魂が今度は柿に乗り移った、というのもおもしろい。東南アジアなどの蛇聟伝説では、蛇聟（英雄）に嫁いだ妹が、姉に嫉妬で殺されたりするが、木や鳥に転生しながら最後に再生を果たす構成が多い。それを思わせるものがある。
柿の木はもう枯れてしまったそうだが、その後、兄弟の魂は鳥になったという話があるのじゃないか。もっとも、庵木瓜の紋は曽我氏の紋というよりは兄弟の出身である伊東氏の紋（ひいては仇敵工藤氏の紋でもある）であるあたりどうなのだという気もするが。