建立沿革:
民國56年（1967）10月，政府著手興建曾文水庫，在水庫用地徵收後，淹沒地區內尚有2,700多座墳墓無人認領，本鄉鄉民劉火及熱心人士遂發起創建曾文寺七寶塔忠義堂，安置無人認領的先民遺骨並供奉七尊佛祖聖像，供鄉民永祀。興建之時，由劉火為主任委員，曾新賀、林火炎為常務委員，鄭三川、陳良增、張新發、沈石、黃英水、簡登件、蘇再賀、陳連枝、簡水得、陳文、許銀和、任裕順、陳烏金、徐阿坤、劉安正、劉陳家源、張和、陳長有、苟萬順、林火助、黃阿松、李阿春等熱心人士為委員，負責籌募經費，另向政府機關爭取部份經費，於鄉公所左側興建曾文寺七寶塔。
民國59年（1970）11月28日卯時，由法師蔡開清以佛教儀式舉行破土奠基，第1期工程興建七寶塔及忠義堂，第2期工程興建左右廂及鐘鼓亭，迄民國60年（1971）10月竣工，同年農曆10月22日舉行落成典禮。曾文寺成立之初組織形態為管理人制，歷經曾新賀、劉火、張和、張耀文等地方長老奉獻心力，努力管理，然而因經費短缺，信徒之捐獻甚少，致使居住於寺內之比丘、比丘尼無以生存而離去。前鄉長許榮松眼見曾文寺七寶塔茅草叢生、庭院荒涼，且佛寺位於本鄉行政中心區域內，任其荒蕪，不僅愧對先人，且有礙觀瞻而影響本鄉觀光事業的發展，乃於民國79年至81年（1990-1992）分別向上級有關單位爭取鉅額經費從事整修工作，除了建築物全都重新粉刷油漆，亦將佛寺四週庭院重新規劃，種植花木，使整個環境煥然一新。
民國88年（1999）9月21日的集集大地震，全臺傷亡慘重，七寶塔亦因此次地震而嚴重傾斜毀壞，列為危險建築物而停用，迄民國97年（2008）底尚未進行工程整建等工作。