明永曆十五年（西元一六六一年）鄭成功收復臺灣，驅走荷人，進駐此城，人們也稱「王城」；而鄭氏為紀念其泉州安平故里，就把一鯤魚身改名為安平。從此安平也因鄭成功的矢志復明，在歷史上寫下了一頁。

清康熙二十二年（西元一六八三年），清入主臺灣後，政治中心漸移轉至臺江對岸的赤嵌（今臺南巿區），當時此處的中樞地位日減，但軍事地位猶存，便改設為軍裝局。同治十年（西元一八七一年）卻因英軍來犯，軍火庫爆炸，城垣傾頹而形如廢墟。它所殘留的磚石，後來成為官民修建房舍取用之材；甚至三年後修築二鯤魚身砲臺（億載金城），也大肆採用。

日治時期，城垣幾乎夷為平地，於是再重建城樓，砌紅磚牆高臺、設燈塔，並建有三層式洋樓（今安平古堡的展覽館）。於是至此，荷人所建之城已面目全非，完全沒有舊昔之風貌，內城現僅殘存古堡臺基下一段厚厚的半圓形稜堡基座，且依然堅實渾厚。

今安平古堡上的新式瞭望臺已成了觀光地標；古堡對面永漢民藝館旁，仍可見一堵厚厚高高的城垣，就是臺灣城殘蹟（外城）部分，全長二十七公尺，老牆斑駁；歷經歲月刻畫，仍隱約可見「鐵剪壁鎖」的痕跡；而剝落的紅磚灰泥牆面上，依稀可尋見「殼灰」的碎片，牢而堅固。另一面的牆上一排方形整齊的小洞，是清時水師中營於臺灣城築營房之痕跡。牆上有一門，原為外城南牆的邊門 。

台灣城殘蹟是17世紀初，西方主義浪潮湧至中國沿海。荷蘭人以軍商結合的隊伍，於1624年進佔今日安平，並建造熱蘭遮城，全部工程完成於西元1640年。 明鄭時期，因鄭成功父子居住此地，乃又稱「王城」、「安平城」或「台灣城」。日據後重建，遂稱「安平古堡」。目前真正的荷蘭時期遺跡，僅存古堡北側平台下兩段當年內層半圓堡殘蹟，以及古堡前方馬路邊原為外城城垣的磚牆，老榕盤根，無限滄桑，見證著三百年的台江風雲。

安平古堡，也是台灣地區最古老的城堡。荷蘭人於17世紀初進駐安平時，在安平建立一座簡單的砦城，就是安平古堡的前身。後來，荷人從澎湖撤退來台灣，在原來的舊城址上，重新興建規模宏大的城堡「奧倫治城」，又稱為「熱蘭遮城」或 「台灣城」。當時，這座城堡是荷蘭人統治台灣全島和對外貿易的總樞紐。日治時，城垣被剷平，改建成紅磚平台與日式海關宿舍，荷蘭時的城堡建築幾乎全毀於一旦；後經屢次修建，成為今天的紀念館。光復後重建，遂稱「安平古堡」。