繞過大成殿，可來到後殿崇聖祠。 崇聖祠建築面寬五開間，它的東翼有禮器庫，西翼有樂器庫，這兩座庫房也是孔廟必備的設施。

崇聖祠係奉祀孔子五代祖先的殿堂，包括肇聖王木金父公、裕聖王祈父公、詒聖王防叔公、昌聖王伯夏公與啟聖王叔粱紇公等。另外旁邊還配祀孔子的兄長、四配之父與先儒先賢之父等。總而言之，崇聖祠所供奉的為先聖先賢或先儒的父輩神位，這種安排，實與中國幾千年來宗族倫理制度有關，孔廟之佈局，也與家廟或宗祠有相通之處。

崇聖祠室內的樑架與儀門一樣，採露明方式，可以看到樑及瓜柱之雕飾。它的屋架使用「三通五瓜式」，即有三支通樑與五支短柱。瓜柱作成金瓜形與木瓜形，造型圓融渾厚，頗能表現力道之美。尤其最上面的獅座，彫出馱負大脊桁重量之架勢，栩栩如生。