確切創建年代不詳，為日治時期，村人楊爪之母楊邱假女士在廟前水流溝拾獲聖帝金身，攜回奉祀，以硓𥑮石疊一小廟，後楊爪弟楊景倡議重修。至民國55年（1966）張予等倡議重建，民國62-63（1973-1974）建成，後歷經三十餘年，管理委員會提議重建，以宋萬耀為重建主任委員，於民國94年（2005）興工，隔年（2006）入火落成，民國111年（2022）增建前亭成今貌。
文衡聖帝廟雖為赤崁次公廟，近年配合聚落與龍德宮辦理元宵活動，以地方產業特色乞龜而聞名。