安溪寺供奉之觀世音菩薩，是明清年間保護先人渡海來台，幾經流轉遂於清末時鎮守本處，俗稱溪仔墘。初時以逐年輪值爐主方式輪祀，後由林缚等十一位地方人士捐款購廟址及廟宇，民國73年(1984)經神降旨訂廟名為『安溪堂』。民國75年辦理廟宇登記，並遂增建廟頂以符合規定，再經神旨增闢三樓觀世音菩薩及十八羅漢佛堂，並更名為『安溪寺』。