不過是邊疆的一名小吏，目不識丁，如果委以重任，恐怕難以服眾。”李林甫退朝後說：“隻要有才能見識，何必一定要會寫文章！天子任用人才，有什麼不可以的！”十一月戊戌日，玄宗賜封牛仙客為隴西縣公，食實封三百戶。
起初，玄宗想任命李林甫為宰相，征求中書令張九齡的意見，張九齡回答說：“宰相關係到國家的安危，陛下如果任命李林甫為宰相，臣擔心他將來會成為國家的禍患。”玄宗沒有聽從。當時張九齡正因文學才能受到玄宗的器重，李林甫雖然心懷怨恨，但仍然假意奉承他。侍中裴耀卿與張九齡關係友好，李林甫也一並嫉恨他。這時，玄宗在位已經多年，逐漸放縱奢侈的欲望，對政事也變得懈怠。而張九齡遇到事情，無論大小都力爭不屈；李林甫則善於窺伺玄宗的心意，日夜盤算著如何陷害張九齡。
玄宗還是臨淄王的時候，趙麗妃、皇甫德儀、劉才人都深得他的寵愛，趙麗妃生下太子李瑛，皇甫德儀生下鄂王李瑤，劉才人生下光王李琚。玄宗即位後，寵幸武惠妃，趙麗妃等人都被疏遠；武惠妃生下壽王李瑁，受到的寵愛超過其他所有皇子。太子李瑛與鄂王李瑤、光王李琚在宮中的宅第聚會，各自都因為母親失寵而口出怨恨之言。駙馬都尉楊洄娶了鹹宜公主，經常暗中窺伺太子和兩位親王的過失，向武惠妃稟報。武惠妃哭著對玄宗說：“太子暗中勾結黨羽，想要謀害臣妾母子，還對陛下出言不遜。”玄宗大怒，將此事告訴宰相，想要廢掉太子和鄂王、光王。張九齡說：“陛下登基將近三十年，太子和諸王都沒有離開過深宮，每天都接受陛下的教導訓誡，天下人都為陛下在位長久、子孫繁衍昌盛而感到慶幸。如今三位皇子都已經長大成人，沒有聽說有什麼大的過錯，陛下怎麼能僅憑毫無根據的話，在一時喜怒之下，就將他們全部廢掉呢！況且太子是天下的根本，不可輕易動搖。從前晉獻公聽信驪姬的讒言，殺死太子申生，導致晉國三代大亂。漢武帝聽信江充的誣陷，治罪於戾太子劉據，使得京城血流成河。晉惠帝聽信賈後的讒言，廢掉湣懷太子司馬遹，導致中原陷入戰亂，百姓生靈塗炭。隋文帝聽信獨孤皇後的話，廢掉太子楊勇，改立隋煬帝楊廣，最終失去了天下。由此看來，廢立太子之事，不可不慎重。陛下如果一定要這樣做，臣不敢遵奉詔令。”玄宗聽後很不高興。李林甫起初一言不發，退朝後卻私下對深受玄宗信任的宦官說：“這是陛下的家事，何必去問外人呢！”玄宗猶豫不決。武惠妃暗中派官奴牛貴兒對張九齡說：“有廢黜就必定有冊立，您如果能從中相助，就可以長久擔任宰相。”張九齡怒斥了牛貴兒，並將這些話稟報給玄宗；玄宗聽後為之動容，因此直到張九齡被罷免宰相之職，太子的地位都沒有動搖。李林甫日夜在玄宗麵前詆毀張九齡，玄宗逐漸疏遠了張九齡。
李林甫引薦蕭炅擔任戶部侍郎。蕭炅向來不學無術，曾經在中書侍郎嚴挺之麵前，將“伏臘”誤讀為“伏獵”。嚴挺之對張九齡說：“尚書省的官署裡，怎麼能容忍有‘伏獵侍郎’這樣的人呢！”因此蕭炅被調出京城，擔任岐州刺史，李林甫也因此怨恨嚴挺之。張九齡與嚴挺之關係友好，想舉薦他擔任宰相，曾經對他說：“李尚書正受到陛下的恩寵，您應當主動去拜訪他，與他交好。”嚴挺之向來意氣風發，看不起李林甫的為人，最終也沒有去拜訪他；李林甫對他的怨恨更深了。嚴挺之先前娶過一位妻子，後來休了她，這位妻子改嫁蔚州刺史王元琰，王元琰因貪贓罪被交付三司審訊，嚴挺之出麵為他求情。李林甫趁機通過身邊的人在宮中向玄宗稟報了這件事。玄宗對宰相說：“嚴挺之竟敢為罪人向有關部門求情。”張九齡說：“王元琰的妻子是嚴挺之休棄的妻子，不應該還有私情。”玄宗說：“雖然兩人已經離婚，但嚴挺之還是在暗中袒護她。”
於是玄宗累加先前的事情，認為裴耀卿、張九齡結黨營私；壬寅日，任命裴耀卿為左丞相，張九齡為右丞相，二人一同被罷免了宰相的實際職務。任命李林甫兼任中書令；牛仙客為工部尚書、同中書門下三品，依舊兼任朔方節度使。嚴挺之被貶為洺州刺史，王元琰被流放到嶺南。
玄宗即位以來，所任用的宰相中，姚崇崇尚通達，宋璟崇尚法治，張嘉貞崇尚吏治，張說崇尚文治，李元紘、杜暹崇尚節儉，韓休、張九齡崇尚正直，他們各有所長。張九齡獲罪被罷相後，朝廷中的官員從此都明哲保身，隻求保住自己的官位，不再有人敢於直言進諫。
請記住我們的域名𝐨𝐨𝐩.𝐭𝐰
”！了及不來也悔後時那到，退斥刻立被會就，聲一叫鳴旦一，祿俸的官品三是的吃們它？嗎匹馬的立站中仗儀前宮在些那過見有沒道難位各！麼什說多著得用還裡哪，及不來都從順臣群，上在主君的明聖今如“：說們他對，官諫位各集召開公是於，權大廷朝攬獨，聽視的宗玄塞堵要想甫林李
。了絕斷底徹被路門的諫進們臣大，此從。令縣邽下為貶被就天二第，事政論議書上經曾璡杜闕補
。計算的他脫逃法無也，人的猾巨奸老是便即。方對掉除法設方想會就，時脅威成構己自對勢權位地的方對到等，交結去動主會都他初起，人的待厚宗玄到受是凡。色神何任露顯不從上臉，方對害陷中暗在卻，人攏拉語蜜言甜用歡喜他。思心的他透看能人有沒，密縝思心，沉深府城甫林李。路門的財發官升有另，拔提到得序次按不能卻，人的營鑽段手險陰邪奸、承奉諛阿借憑些那而；中之任調的規常於老終免難也，人的行品和能才殊特有是使即，行進序程的定固照按都，用任遷升的官百，度製章規的廷朝守遵格嚴都人兩但。從計聽言甫林李對，諾諾唯唯會隻事遇，相宰任擔以得才薦引的甫林李靠是然既客仙牛
