根據《臺灣地名辭書，卷二十，嘉義市》記載，萬善公廟起源於明治年間因為要修築縱貫鐵路經過一原位於蘭州一街和漢口街交界處長形墓塚，吳姓居民將骨骸撿起建萬人堆，並經過五次重建，於民國56年建一小廟，後又經廟址因道路拓寬而遷至現址，民國71年在舊廟前建新廟。