蕭府公祖廟俗稱「公祖廟」，據地方相傳，約明末清初，有一蕭進士為明代臺灣巡撫，由福建被派遣來台到任途中，於望安外海遇到大風浪，所搭乘帆船被大浪打翻，船毀人亡，蕭進士的屍體漂流到村落的西南海岸，村民不捨就地蓋廟奉祀。日後蕭進士成神為蕭府公祖。日治時期，又從五府千歲廟迎請林恩主前來陪祀。(台灣於明代並無巡撫，此為傳說)
大正12年(1923)曾進行整修，民國54年(1965)增設金爐，至民國79年(1990)再進行粉刷整修，今貌則為民國101-103年(2012-2014)重建而成。