玄靈殿座北朝南，地處聚落的西側。據廟中碑記所載，李府王爺之顯靈始於清道光年間，相傳有村民在海邊拾一香爐，因得法力而能治病，後又有村民在港底橋下受燈光指引而拾一木材，經商議雕成李府王爺。玄靈殿正式創建於大正10年(1921)，曾留下李府王爺化身老翁購石買杉的傳說，民國75年(1986)時曾遭受韋恩颱風的侵襲而損壞，在民國76年（1987）重建，民國78年（1989）入火安座而成今貌。