高野山の始まりは、空海が真言密教を広めるために根本道場を開く場所を探していた頃まで遡ります。
ある日、大和国にある宇智郡（現在の奈良県五條付近）で、白黒二匹の犬を引き連れた狩人に出合い、「伽藍を建てるのに相応しい場所を探し求めて旅をしています」と告げました。

すると狩人は、「ここより南の紀州（現在の和歌山県）の山中に、良い場所があります。この犬に案内させましょう」と言い、そのまま姿を消しました。この狩人こそ。後に高野山で祀られている狩場明神だと言われています。

空海は犬に案内され、高野山を登る最中に丹生明神のお社まで来たところで明神さまが姿を現し、「この土地を貴方に献上しましょう」と告げられました。

二柱の神の御心持ちに感謝しながら高野山に辿り着くと、「なんと真言密教を広めるのに適した場所だ」とお喜びになられました。しかも、空海が唐から日本へ帰国する際に東の海に投げられた三鈷杵が、松の木（三鈷の松）に刺さっていたのです。

こうして空海は高野山に根本道場を開く決心をかため、嵯峨天皇からの許可も賜り、弟子たちや職人と共に堂塔を建て、伽藍を造ったのでした。