伊文神社は今よりおよそ1,500年前の平安文化華やかなりし頃、人皇五十五代文徳天皇の皇子八條院宮が三河国渥美郡伊川津の地より当地へ御轉住の折に、随遷し奉祀されました。八條院宮は、文徳天皇の皇子とも弟とも云われ、朝廷の命により、吉良の地を根城にしていた兼光・兼森という兄弟の逆徒討伐の為、西尾の地に赴かれました。その際に屋敷の東西に御祀されていた、天王社（現伊文神社）と八幡社（現御劔八幡宮）を随遷されたと伝わっております。
　社名については、天王社、天王宮、伊文山牛頭天王、伊文山天王宮等と称しましたが、文政の頃には伊文山とつくと寺院の山号に紛れ易いとして、伊文社となり、明治維新以降は伊文神社とされ、「伊文さん」「祇園さん」等と親しまれています。『国内神名帳』には正三位内母大明神と記載されております。
　承久（1219～1222）の頃より、本所の産土神、総鎮守として西尾城主を始め士民一般の崇敬厚く、特に夏の祭礼は祇園祭と称され、神輿の渡御を中心に六ヶ町（天王町・肴町・本町・中町・幸町・須田町）の神賑行事も盛大に町中総出の賑わいで、西尾の町の風物詩として広く親しまれてまいりました。
　また江戸の世になってからは、神階における最高位である正一位を宣下賜わり、徳川幕府より朱印地十八石五斗の寄進を受けるなど益々神威を増し、夏の祭礼においては、祭事を厳ならしめんと西尾城主より遣わされた鉄砲・弓・槍等を神幸行事に随行させ、また祭費として米五俵銭四貫などを奉納することが通例となっていきました。
　　昭和54年1月1日、不慮の火災にて拝殿及び琴平社拝殿が炎上するも翌年には御社殿再建委員会が組織され、委員各位の弛まぬ努力と氏子崇敬者の素晴らしきご厚志により、翌年コンクリート造の御社殿として見事に復旧いたしました。