「五妃廟」孤零零立於魁斗山，偌大庭園，古木蔘天、竹林叢叢，非常幽靜。魁斗山曾為墳地，俗名鬼仔山，後以諧音而雅稱「魁斗山」或「桂仔山」，今仍依稀可見一些孤墳廢塚，備添淒涼。五妃廟的右側有一小祠正是寧靖王從死的侍宧埋骨之處。內俸伺一神位「義靈君之佳塋」。五妃廟規模不大，古樸廟貌，單進兩廂傳統建築，繪以手捧壺、桃和石榴的侍女，以及手捧鼎爐、牡丹的太監，異於一般廟宇的廟門彩飾。

殿前懸有一匾「名留青史」，內殿高懸「貞靈咸著」匾，殿內端坐五尊五妃神像。案上置有刻著「五妃墓」的石香爐，並供有梳妝用品是其特色。繞行至正殿後，見刻有「寧靖王從死五妃墓」墓碑。廟的左前方有「五妃之碑」詳述五妃廟沿革，末附四言詩一首，歌頌五妃節烈。

由於五妃的忠貞不二精神，後人寫下不少讚頌的詩詞，篇章之多冠全省，而以連橫的：

一鉤新月淡黃昏，環珮聲殘冷墓門。

行過桂山山路下，落花無數美人魂。

意境最為淒美。走出大門右轉，經過臺南師院後門，便到了法華街，左轉後，一路曲徑幽巷，法華寺就在眼前。

五妃廟建築最大的特色在於 墓塚與廟宇緊密相連， 墓碑就直接嵌在前方祠廟的牆面上，刻著「寧靖王從死五妃墓 」的字樣 ，是 典型「墓廟合一」的陰廟。而它正殿屋頂下的楹架（平行於面寬的圓木）數目有八根， 與一般廟宇採奇數楹架不同，這也是匠師建廟時，遵循「陽奇陰偶」 的民間禁忌所致。另一個結構上的特點與陰廟無關，但也相當少見。即以一單殿式廟宇 ，卻附有拜亭下方內側，使門兩旁的牆微微外斜，形成「八字牆」。 與同型式廟宇廟門開在正殿有很大的區別。