禪城祖廟始建于北宋元豐年間（1078年~1085年），當時的名稱叫祖堂，其實就是北帝廟，當時珠三角地區(qū)多為水鄉(xiāng)，水患多，而北帝恰是傳說中治水的神，于是北帝作為禪城人的保護神被供奉起來。但在明代，祖廟遭到破壞。另外，桐鄉(xiāng)灰塑作品講究對稱的較多，約束了制作的隨意性，增加了制作難度。洪武5年，祖廟得到重建。 　　明朝正統(tǒng)十四年，朝廷封祖堂為靈應(yīng)祠，并建了靈應(yīng)牌坊。自此，祖廟由民間祭祀之地變成guan方祭祀之地。