德裕不和。加上李德裕在武宗朝權勢過重，遭到了很多宦官和大臣的忌恨，宦官馬元贄更是多次在宣宗麵前說 “李德裕功高震主，若不除之，恐生禍端”。因此，唐宣宗剛一即位，便開始對李德裕進行打擊報複。
李德裕先是被免去宰相之職，貶為荊南節度使，離京那日，野史中說長安百姓夾道相送，有老人提著籃子給他送饅頭，哭著說 “李大人您走了，以後誰還為我們做主啊”，李德裕含淚拱手，說 “諸位保重，吾雖遠走，心仍係大唐”。可沒過多久，他又被不斷貶謫，從潮州司馬一直貶到崖州司戶參軍。崖州地處偏遠的嶺南地區，當時還是一片蠻荒之地，瘴氣彌漫，毒蛇猛獸橫行，野史中曾記，李德裕一行人前往崖州時，一路上走走停停，很多隨從都因水土不服病逝，到崖州時，隻剩下他和一個老仆人。
在崖州的日子裡，李德裕身心備受煎熬，卻依然沒有放棄自己的氣節。他住在一間破舊的茅草屋中，每日除了處理少量公務，便是讀書寫詩。野史中流傳著一個故事：有一次當地官員想送他綢緞和糧食，他婉言謝絕，說 “吾乃貶謫之臣，豈能再受額外饋贈”，官員感慨 “李大人風骨，古今少有”。他時常登高遠望，思念故鄉和故國，寫下了許多充滿悲情和憂國憂民之情的詩句，如 “獨上高樓望帝京，鳥飛猶是半年程。青山似欲留人住，百匝千遭繞郡城”，據說他寫這首詩時，老仆人在一旁落淚，他卻笑著說 “別哭，吾雖身在天涯，卻無愧於大唐”。
。骨風的他歎讚更，能才的他佩敬僅不們人，來年百千，活鮮加更象形的相名情悲位這讓也，事故史野的間民在傳流些那而，冊史入載被遠永卻績功的麵方等事軍、治政在他但，終善能未終最他然雖。拜祭去人有都，明清逢每，堂祠了建修他為發自姓百州崖，後世去他。”廉清要官為，直正要人做，們他訴告，孫子的我給交詩些這將，安長回會機有若“ 說，人仆老給交，好理整文詩的寫己自將，前終臨他說中史野，逝病州崖在裕德李，）年 948（年三中大
