要立武則天為皇後實則是對長孫無忌權威的挑戰, 從而使二者之間的矛盾隱蔽轉為公開。在皇後廢立的文鋒中, 高宗得到了李義府、許敬宗和元老重臣李勤的支持, 於永徽六年(655年) , 貶逐了褚遂良, 廢掉了王皇後, 冊立武則天為皇後。疏遠了長孫無忌,接著提拔李義府、許敬宗這些不滿無忌的人任宰相, 製約了長孫無忌的權力。最後借韋季方與李巢的朋黨案,將長孫無忌貶流黔州, 自縊身亡。
前人論及長孫無忌之死, 皆指為許敬宗與武則天的陷害。其實, 這種陷害隻是一種表麵現象。隱藏在表麵現象之後的是唐高宗與長孫無忌之間的尖銳矛盾。若沒有二者之間的權力上的爭奪, 僅憑許敬宗一麵之詞是不起多大作用的。由此可見, 君權和相權的矛盾尖銳化, 才是鑄成長孫無忌之死的根本原因。而許敬宗的行為隻是迎合了唐高宗的心意罷了。