唐高宗欲废王后立武昭仪,当时大臣褚遂良、长孙无忌之属皆以死争。帝问李绩,绩独曰:“此陛下家事,何必更问外人!”帝意遂决。其后明皇因武惠妃之谮,欲废太子瑛等。当时如张九龄之属,固争以为不可,独李林甫谓“此陛下家事”一语而决,遂基唐室之祸。人谓林甫此语,绝似李绩,是皆以陛下家事为辞,不肯力争,遂成祸基。仆因考之,李绩此语又有所自,观后周宇文护欲废闵帝,以问群臣,有曰:“此公之家事,敢不唯命。”遂废闵立明帝。李绩之言,非出于此乎?又推而上之,魏文帝遣使赐甄后玺书,以问周宣。周宣答曰:“此自陛下家事。”后周之语,又出于曹魏。