1949年3月29日，阎锡山从被解放军围得水泄不通的太原，乘飞机逃到了南京。

在飞机上回望自己经营了38年之久的故土，阎锡山的心情之复杂可想而知。

这次离开，阎锡山心里十分清楚，他的军队将被解放军全部歼灭，他赖以起家的“晋军”从此将成为一个历史名词。

那么，失去军队之后，阎锡山又如何能保证自己在国民党里的地位呢？

阎锡山来到南京后，把主要的精力都用在了拉拢各方人士上：他和美国大使司徒雷登多次会面，希望博得美国人的好感和支持；同时，他又积极在蒋介石和李宗仁中间活动，通过调停“下野总统”和“代总统”的矛盾来抬高自己的身价显示自己的作用。

随着南京解放，国民政府迁到广州，面对政治、军事、经济各个方面的重重困难，何应钦内阁一筹莫展，最终选择集体辞职。

谁来接替何应钦“执掌中枢”呢？“代总统”李宗仁向国民党中常会推荐了国民党的元老人物——居正，但蒋介石不同意，最终居正以一票之差未能当选，愤懑的居正黯然离粤赴港。

剩下的人中，阎锡山是参加过辛亥革命的老资格，呼声不小。但阎锡山知道，他能否当选，还是要看蒋介石。在提名之后，阎锡山就借着继母在台湾病逝，自己前去奔丧的机会找到了蒋介石，摆出效忠的架势，请他指示施政方针。

蒋介石于是公开支持阎锡山，阎锡山最终成功就任“行政院长”。到1949年11月，李宗仁又以养病为由，把中枢军政大权都交给了阎锡山。

谁能想到，阎锡山离开山西后，反而获得了他人生中最高的职务。只不过，“职务”并不代表“权力”，说到底，失去实力的阎锡山不过是被临时推出来利用的门面人物。

阎锡山上任后，在经济上开始“货币改革”，强行推动使用银元券，不过在那样的战局下，这个改革是不可能成功的；在外交上，国民党此时已经失去了美国的援助，阎锡山四处奔波，乞求美援；

在军事上，阎锡山把目光放到西北地区，他任命马步芳为“西北行政长官”兼“甘肃省主席”，给他在陕甘宁青四省自行筹饷征粮的权力，还将原来的“甘肃省主席”郭寄峤调离，让陕甘宁青四省变成纯属马家的天下，以巩固西北的局面。

阎锡山还派徐永昌带着自己的亲笔信和数箱银元飞往绥远，游说董其武，叫他坚守阵地，还鼓励他去策反傅作义，使其“觉悟返归”。

阎锡山又通过关系联系上了绥西屯垦军，答应给他们武器装备和经费，让他们编成军队，在河套地区坚持顽抗……

然而，所有的这些努力最终一一落空。10月初，解放军逼近广州，阎锡山仓皇撤退至重庆；11月底，重庆解放；阎锡山又逃往成都；12月初，解放军兵临成都，阎锡山又登机逃往台湾。

在台期间，阎锡山又在行政、军事、经济等方面作了一系列部署，试图扭转危局。《阎锡山全传》作者评价：阎锡山在这段时间的工作，不可谓不“呕心沥血”、“殚精竭虑”、“尽职尽责”。

后来，阎锡山病逝，蒋介石在《褒扬令》中夸赞阎锡山说他在这段时间“受命于危难之际，驰驱蜀粤，载徙台员，遗大投艰，勋勤备着”，指的就是上述这一系列事件。

但是，阎锡山和蒋介石毕竟是有着几十年的恩怨的宿敌，无论他怎么样做，他已经不可能再得到蒋介石得信任。对于自己的“过渡性质”，阎锡山心知肚明。

1950年3月，蒋介石在宣布下野1年零2个月后，宣布“复行视事”，重登宝座。五天后，他批准了阎锡山的辞职报告，并以嫡系陈诚取代了他的位置。阎锡山的政治生涯至此宣告谢幕。

此后，蒋介石给阎锡山安排了两个“虚空头衔”——“总统府资政”、国民党第七届中央委员会评议委员，这两个有职无权的职务，伴随着阎锡山走完了他人生的最后10年。

1950年8月12日，阎锡山入住阳明山“菁山草庐”，开始了自己10年隐居的生活，期间有近50名忠心部属也跟着迁入，打理阎锡山住居生活。

菁山地理位置偏远，电灯、电话、自来水这些现代生活的设施，这里一个都没有。阎锡山为什么选择这里？是为了显示自己的淡泊，避免引起蒋介石的猜忌？还是因为他历尽繁华之后，最终看破红尘，打算静下心来安度晚年？答案恐怕是二者都有。

因为怀念故土，他在菁山修建了一孔窑洞，并给它取名“种能洞”；他还向附近的矿务局租来土地，开辟农场，植树造林。

平日里，除非大型典礼或者蒋介石召见，阎锡山都不曾离开，偶尔会有一些老朋友前来拜访他，但相比从前的门庭若市、车水马龙，这实在是冷清的苦行僧生活。

在人生的最后10年，阎锡山写了不少的书，宣扬他的“中的哲学”、“大同世界”。阎锡山潜心写作，有时候一写就是12个小时，有时候“午夜忽醒，略思有得，即起而录下”。

写书让他感到快乐，在去世前一年，阎锡山说：“我写书就是我最乐做的事……如泉水外涌，越涌越舒畅。我需要在世的日子很短了，再有二年，就将我一切愿说的话，愿做的事，可以说完做完了。我这虽不是闻道而死，可以说是尽情而死，了无遗憾。”

这一年，他的两个最好的部下和朋友——杨爱源和徐永昌先后辞世，阎锡山伤感不已，拖着病体亲自前往吊祭，并为他们写了祭文。

朋友的离世让阎锡山意识到了自己也时日无多了，就是在这样的心理背景下，他立下了最后的遗嘱，遗嘱共7条，说的全是细碎的小事：

一、一切宜简，不宜奢。

二、收挽联，不收挽幛。

三、灵前供无花之花木。

四、出殡以早为好。

五、不要放声而哭。

六、墓碑刻思想日记第100段和第128段

七、七日之内，每日各读选作（事先已选好）之《补心录》一遍，每七早晚各读一遍，至尽七为止。

他甚至为自己写了四副奇怪的挽联：

朽嗔化欲

避避避，断断断，化化化，是三步工夫。

勉勉勉，续续续，通通通，为一等事功。

努力摆持

摆脱开，摆脱开，沾染上洗干净很不易。

持得住，持得住，掉下去爬上来甚为难。

公道爱人

有大需要时来，始能成大事业

无大把握而去，终难得大机缘

循中蹈对

对在两间，才称善

中到无处，始叫佳

1960年5月，阎锡山开始腹泻，身体浮肿；5月23日，病情加剧，舌头僵硬，说话困难，头部低垂；5月23日，阎锡山回光返照，和老友贾景德在山上畅谈两个小时，随后心脏病发作，送往医院后医治无效去世，终年77岁。

阎锡山病逝前，把名下两栋房子交给了妻子徐竹青，把山上农场的产权交给了随他一起隐居阳明山的部属。阎锡山病逝后，阎锡山的部下和妻子一度因为遗产分配问题对簿公堂。

至于阎锡山的子女儿孙，当时都已经定居国外，除了四子阎志敏从巴西回来奔丧外，其余子女都因承担不起机票没有回来，而此后，阎锡山的子孙后代一直始终未曾返台扫墓。

阎锡山的结局，真可谓应了《红楼梦》里的那首《飞鸟各投林》。