南山寺整个寺院由七层三大部分组成，下三层名极乐寺，上三层名佑国寺，中间一层名善德堂，南山寺是它们的总称。民国初年，由东北信徒捐资，普济和尚将原有的极乐寺、佑国寺、善德堂三处合建在一起，称为南山寺。普济死后，寺院修建未停，建筑工程浩大，规模壮观，连续动工二十三年，后因“七七事变”停工未竣。经过大规模的修建，南山寺建筑样式别具一格，多以青石和汉白玉石构成，石雕内容兼有佛、道、儒三家的色彩。
从台怀中心区沿公路南下至杨柏峪村，转向西过清水河，行数百米，就来到南山寺所坐落的山脚下了。南山寺依山而建，海拔一千七百多米，面积九十多亩，计有殿堂楼房窑三百多间。南山寺整个寺院由七层三大部分组成，下三层名极乐寺，上三层名佑国寺，中间一层名善德堂，南山寺是它们的总称。该寺创建于元代，以现存寺内元代至元五年(公元1268年)八月所立石碑为证，当时称“大万圣佑国寺”。清光绪九年再行修建，称为极乐寺。清代末年，有一个皈依佛门的九宫道首领叫普济，是寺院的住持和尚，他同清政府关系密切，慈禧太后亲笔题写“真如自在”木匾赐普济，普济还将其字刻印在石上，供奉起来。民国初年，由东北信徒捐资，普济和尚将原有的极乐寺、佑国寺、善德堂三处合建在一起，称为南山寺。普济死后，寺院修建未停，建筑工程浩大，规模壮观，连续动工二十三年，后因“七七事变”停工未竣。经过大规模的修建，南山寺建筑样式别具一格，多以青石和汉白玉石构成，石雕内容兼有佛、道、儒三家的色彩。
杜牧《阿房宫赋》中描绘阿房宫时说：“五步一楼，十步一阁。廊腰缦回，檐牙高啄，各抱地势，钩心斗角。”五台山南山寺，有着同样的气势和风姿。步入寺内，回栏曲径、亭台楼阁，应接不暇，甬道深处、院落门首，多有石刻题词、对联，特别是各类建筑物上的石雕，题材多样，内容纷繁，游历其中，有步移景换、多姿多彩的感觉。在寺庙中，象这样宏观浩大、微观精细的群体建筑是很少见的。
南山寺建筑依托山势，层次高低分明，错落有致。寺院最下面有一堵大影壁，长十七点三米，高约八米，石彻底座，砖砌壁身，顶部壁檐有砖雕，壁面嵌有汉白玉石，上刻题词和对联。左边的石刻对联是：风化神中梦，迷路天作合。右边的石刻对联是：了道心圆地，真光上明天。中间圆形的石面上也刻有同样内容的字迹。从影壁旁入寺院，首先登一百零八级石台阶。台阶尽头的高台上，立有二座高大的石牌楼，长十二点八米，宽一点六米，高约九米。牌楼下有三个门洞，上分三层楼头，一层比一层内缩，居中的楼头最高，两侧配以对称的分层次的四个楼头。中门洞额的石面上题有“苍松无毁智转云中飞腾万里山水乎”字样。两个边门的外侧和内侧，都刻有楹联。牌楼的背面也有许多石刻题词和对联。