日本書紀によると、聖徳太子によって平群に創建された「熊凝精舎」を、舒明天皇が百済川畔に移し、「百済大寺」といい、次いで天武天皇は天武2年(673年)に、この飛鳥の地に移し「高市大寺」といったが、同6年(677年)、天皇の寺という意味の「大官大寺」と改称したとある。
しかし、発掘調査の結果、現在の大官大寺跡の伽藍は、文武朝のものであることが確認され、書紀に記された天武朝の高市大寺は別にあったと考えられ、7世紀後半～末にかけて国家の経営する大寺として雄姿を誇り、朱鳥元年(686年)には天武天皇の病気回復の祈願が行われ、持統天皇の時梵鐘を鋳造、文武天皇の時には九重塔や金堂が完成し飛鳥の大寺院の一つとして荘厳をきわめたといわれる。
特に塔は方五間、講堂は正面九間、側面四間もある雄大な規模を有したものであった。その後、平城遷都とともに寺籍を新都に移し大安寺となり、旧寺は和銅4年(711年)藤原京の大火で焼失し、以後、寺地は田畑や民家と化してしまった。
それでも明治中期までは金堂跡と塔跡が残り礎石も残っていたが、明治22年橿原神宮造営の際、運び去られ、現在その面影を伝えるものは、わずかに残った土壇のみとなっている。