「小南」所指的是建城於雍正三年的「台灣府」城池中的「小南門」，信眾對「城隍」的崇拜可追溯到周朝，是除夕祭祀八神之一，城隍意為「保衛城池之神」。在漢代開始城隍的祭祀活動就已不斷提升，更尊封已亡之忠烈英靈為城隍爺，祀為地方之守護神，在清領時期，奉旨到府城任值得的大小官員們，上任前必先祭祀城隍爺。

現任府城「小南二城隍爺」俗名朱一貴，人稱鴨母王，原藉漳州長泰，二十歲時移居到當年台灣府鳳山縣羅漢門鴨母寮，所結交的大多是國姓爺鄭成功遺臣民及抗清志士，由於當時，清領初期吏治不良，台灣知府王珍貪污殘暴等原因，累積成民怨，同年春天，眾人齊聚，議論起義，朱一貴號召鄉里，揭竿起義，四月中，聚眾千人，其中五十二人焚衣結盟，豎起紅旗寫著「大元帥朱」「寧靖王爺府」(今大天后宮)登基，號稱「中興王」，國號大明，年號永和。一個多月後因清軍登陸反攻，朱一貴敗走大目降（新化），一路北上直到嘉義溝尾莊(今太保市)被補，随之革命軍部分首領押送福州砍頭，朱一貴等人則押至北京五馬分屍，裂骸而死，享年三十二歲，是時一七二二年二月二十二日。

朱一貴驚天動地的守城七日血戰潰敗後，其後兩年革命餘波才真正落幕。但也埋下了後来革命的種子，整個事件雖壯烈結束，千秋不泯。民間傳聞玉皇大帝感佩朱一貴忠義節烈的精神，敕封其為「台南州城隍綏靖侯」，清同治年間初以石頭砌建小廟祭祀，光緒年間，居於台南海寮的方馬德與方李粯夫婦，因感念觀世音菩薩慈悲顯靈，指示海寮會因天災而滅庄，需移居南方府城。故舉家至小南附近時，經觀世音菩薩點化需護持城隍爺光威城域，鞏護隍都，遂而重修舊廟，虔誠供奉。廟務漸開後，往來車隊，若有不順遂，下車祈拜，必消災戒厄。

又經民國六十五年增蓋鐵皮屋頂，以護祠堂；民國七十二年因政府整頓道路拆毀舊廟。廟內眾神移請至對面現址。（台南市開山路二八九號)供奉，并由當時主任委員吳方愛珠女士及夫婿吳大逽籌資募建新廟，民國八十三年新廟落成，民國八十九年舉行三朝祈安慶成清醮。

清中時期原為明末遺臣義士之祠堂，伴隨著諸將士之古石碑，早期香火稀微，由城隍爺威靈顯赫庇佑眾生，逢凶化吉、指點迷津，神威遠播，香火鼎盛，终年不斷。

中華民國一百零四年十月天運歲次乙未年桂月吉旦