平安時代最も有名な陰陽師「安倍晴明」公は、当時最先端の呪術や科学であった天文道や占いなどの陰陽道に関して卓越した知識を持っていました。

華山上皇が那智山中で修行を行っている際、天狗が現れて様々な妨害を繰り返しました。そこで晴明公は、岩屋に大勢の天狗を封じ込める祈祷をしたところ、天狗たちの妨害は見事に収まり、上皇の修行は無事に終えられました。上皇の信頼を得た晴明公は、陰陽師として名声を極めました。そして晴明公は華山上皇に伴い、那智熊野の地に於いて、三年間の滝行と山籠りの行を上皇と共に行いました。

その後清浄なる聖地を求める旅の旅中、たまたま当地に立ち寄り、この地を選定したと伝えられています。