高野山は密教の修行道場として開かれたため、開創以来、長く女人が入ることを拒んできました。時代の移り変わりと共に、高野山が霊場として信仰されるようになると、女性による参詣の願いも強くなってきます。
　女性達は高野山まで登山しますが、やはり伽藍や奥之院を目の前にして直接お参りすることはできません。仕方なく、周囲の山を巡りつつ、木立の間から見える伽藍などに手を合わせました。
　女性参詣者が増えるにしたがって宿泊所が必要となり、七つあったという各山内への入り口に、「女人堂（山之堂）」が設けられるようになりました。女性参詣者達は、夕暮れになると女人堂に身を寄せて読経や念仏を唱えて、一夜を明かしたのでしょう。
　明治５年（１８７２）になると、全国の神社や仏閣の女人禁制が解かれることになりました（太政官布告）。ところが高野山は、長い歴史の中で護り抜いてきたものをあっさり捨て去ることをせず、女性が山内で居住できるには明治３８年（１９０５）まで、ゆっくりと時間をかけて解いていくことになります。
　現在では、女人堂は不動坂口に建っているのが唯一となりました。女人堂は簡素な造りの平屋の建物で、大正４年（１９１５）に地盤を約３メートル低くした折り、建て替えられたようです。