756年六月十四日的马嵬兵变，让72岁的唐玄宗失去了心爱的杨贵妃，那一天，距离唐玄宗继位已经有44年，距离唐玄宗真正将杨贵妃纳入宫中已经有11年。做了四十多年的皇帝，李隆基已经变得昏庸而懦弱，而与杨贵妃厮守了十余年，居然还是你侬我侬。但是安史之乱的发生给了李隆基当头棒喝。随之而来的更是在长安失守的前夕，756年的六月十二日，李隆基跑了，前一刻他还说御驾亲征，后一刻，他就开始逃亡蜀地。然而，放弃长安只是李隆基凄惨生活的开始。
他们在两日后的六月十四日到达了马嵬驿，狼狈不堪的逃亡生活最先惹怒了李隆基的护卫队，他们将满腔怒火对着杨国忠倾泻而出，认为正是杨国忠的存在，才激起了安禄山的反叛， 因为安禄山打出的旗号正是诛杀杨国忠。所以在马嵬驿，龙武大将军陈玄礼联合太子李亨发动了兵变，诛杀了杨国忠，李隆基对此并不能做任何的惩罚，只能被动的接受，他只想快点让士兵们安静下来。然而，令他意想不到的是，士兵们还要杨贵妃的命，即便李隆基试图说明杨贵妃的无辜，试图保下自己心爱的女人，但是很明显的，群情激昂的士兵已经不是李隆基所能控制得了。最终，李隆基吩咐高力士处理了杨贵妃。
李隆基本以为兵变到此就结束了，所以他在大家提出以后的去向的时候，仍旧还是入蜀，即便百姓们都请求他留下来。而李隆基却让太子李亨来安抚百姓自己先行离开。李亨被大家说服留下来挽救大唐江山，于是急于入蜀的李隆基给了李亨2000兵马。就这样，父子俩走了截然相反的路。李亨北上灵武，想依靠朔方军的地盘组织对叛军的反抗。
七月十二日，太子李亨在心腹们的强烈要求下僭越称帝，遥尊还在入蜀路上的李隆基为太上皇。之后依靠郭子仪和李光弼收复两京，757年，将太上皇李隆基迎回了长安。李隆基住进了兴庆宫。最开始，李隆基的生活还算是可以的，至少陈玄礼还在，高力士还在，玉真公主还在，旧时的宫女也还在，还有梨园弟子。但这个时候李隆基和儿子李亨之间其实还是有争权的，李隆基试图干涉官员的任命，毕竟朝廷中他还是有追随者的，但李亨对李隆基并不退步，何况还有一个权倾朝野的大宦官李辅国在。李辅国在唐肃宗李亨的默许下，经常欺负李隆基。李隆基想改葬杨贵妃都被李辅国拒绝，李辅国命人将杨贵妃葬在了别处，好在有人把杨贵妃生前用过的香囊给了李隆基，李隆基带在身上聊表相思。后来李辅国更是对李亨说李隆基住在兴庆宫与外人接触太频繁，说不定会有什么谋划。
760年的七月，李辅国直接矫诏把李隆基迁到了内宫方便控制。而在迁居的路上，还出现了惊心动魄的一幕，当时李隆基的护从不过才二三十个，还是老弱病残之类的。他们走到交叉路口的时候，突然从四面八方出现了五百名骑兵，将李隆基一行团团围住，为首的正是李辅国。李隆基吓得几次差点从马上跌落下来。高力士上前呵斥李辅国：“太上皇做了五十年的太平天子，李辅国你也是个老臣，怎能对太上皇无礼，还不下马？”李辅国这才下马乖乖的护送李隆基到了甘露殿。心有余悸的李隆基哭着对高力士说：“多亏了你，要不我就成了刀下鬼了。”
但是，不久，李辅国就诬陷高力士潜通逆贼而将其流放；又逼着陈玄礼辞职回家，回家不久后，陈玄礼就去世了；又让玉真公主出居玉真宫。李隆基真正成了孤家寡人。于762年去世，而他的儿子唐肃宗李亨也在不久后撒手人寰。
