甘樫丘の北西麓の豊浦にあり向原寺とも広厳寺ともいわれ、県の史跡になっている。
また、このあたりは推古天皇の豊浦宮や小墾田宮のあった所とも伝えられている。
「日本書紀」によると、欽明13年（552）百済の聖明王から金銅の釈迦仏や経典が献上された。礼拝の可否を問うたところ、物部、中臣の諸氏は異議をとなえ、蘇我稲目がひとりこれに賛意をとなえたため、稲目はその仏像をたまわり向原の家をもって寺として安置したとある。しかし、その後、悪疫が流行し、物部氏、中臣氏らがこれをもって国神のたたりだと奏したため仏像を難波の堀江に流し捨て、寺は焼きはらわれたといわれる。
その後、581年に再建され桜井寺となり百済から帰朝した善信尼が住み尼寺となった。その頃は、別名、建興寺ともいわれた。
豊浦宮で即位した推古天皇は603年豊浦宮地と桜井寺地とを交換され、旧宮跡に桜井寺を移し豊浦寺といい、寺地に移った宮を小墾田宮と称したといわれる。
豊浦寺は由緒からいえば日本最初の寺であり、舒明朝には塔婆が建立され、持統天皇のときには、飛鳥五大寺の一つであった。平城遷都とともに新都に新寺が営まれたが旧寺も変わらず盛えた。しかし平安時代にはかなり寺運が傾き、衰退していった。
現在は、江戸時代に建立された向原寺（浄土真宗本願寺派）があり、その後を引き継いでいるといわれる。門前や境内に多くの礎石がみられ、寺跡であることを裏づけている。
1957年、1970年の発掘調査でも塔、金堂、講堂などが検出され、1993年には金堂が南北15メートル、東西17メートルの規模であることが判明した。また南方では広場状に10メートル近くの石敷遺構が確認されているが、全容の解明は今後に残されている。