明日香村小山と橿原市にまたがって紀寺跡と伝えられた場所があり、紀氏の氏寺に由来して紀寺と称したといわれているが、文献上からは、「続日本紀」によると、天智9年(670)には、すでに紀寺があって奴婢のいたことがうかがえる程度で、場所についてははっきりした事は分からない。
明治10年(1877)頃まで塔の心礎あるいは礎石がわずかに残存していたといわれるがはっきりしない。
昭和48年(1973)からの発掘調査により、金堂跡、講堂跡、回廊および南門跡を検出し、また、金堂の西側で瓦窯を見つけている。 これからの結果、紀寺の寺地は一辺240メートルほどの規模であったと思われる。