位杨氏国夫人再次联合起来为杨国忠求情。玄宗早已被这几位夫人所制，答应让杨国忠一到剑南就立即召回，以免涉险。李林甫误以为杨国忠将不再返回，便在家中举行庆祝。李林甫的儿子李岫却告诉他，玄宗很快就会召回杨国忠，并提到吉温投靠杨国忠的事情。李林甫的病情急剧恶化。太子府得知此事后，李泌表示这或许并非好事。因为只要李林甫还在世，安禄山还会顾忌；一旦李林甫去世，安禄山和杨国忠之间的矛盾必然爆发。
成都，杨国忠刚刚抵达城门，便接到传旨让他速速回长安。但由于成都众臣的盛情款待，他只好进城一趟。与此同时，李林甫在家中举行盛大的法事，表达他希望见到皇上的愿望。李岫请求玄宗亲临李林甫府上，但高力士劝阻了这一举动。玄宗面露难色，高力士建议让玄宗登上花萼相辉楼，这样李林甫可以远远看见玄宗，玄宗接受了这个建议。
杨国忠回京后立即拜见奄奄一息的李林甫，李林甫请求杨国忠宽恕自己的儿子。杨国忠表面答应了他的请求，但心中却暗下决心要报复。杨国忠假借吉温的陷害，指控李林甫与南诏勾结。
李林甫临终前嘱咐儿子李岫，让他在自己去世后离开京城隐居。李岫回答说：“到处都有被父亲害过的人，我躲到哪里去呢？”李林甫在杨国忠被封相的欢乐声中去世。李林甫去世后，朝中众臣纷纷响应杨国忠，合力参与了对李林甫的攻击。玄宗大怒，责问他们为何活着时不敢参谋，却在他去世后纷纷说三道四。他询问如何处置已经去世的人？杨国忠进谏说不应该按宰相的礼仪安葬他。玄宗答应了他的请求，并罢免了牛仙客的职务，升任吉温和韦见素。玄宗还依照杨国忠的建议传旨。
