后来他被迫辞相，这里面他可是知道有房玄龄推波助澜之功，甚至他舅舅高士廉后来被罢相，也跟房玄龄杜如晦二人脱不了干系。
房玄龄在朝中既是皇帝心腹，同时也还是山东士族的代表，跟做为关陇集团新领军的长孙无忌，是不同派系，且向有利益冲突。
长孙无忌被房玄龄压制多年，现在有机会复仇哪会放过。
于是乎，本来是三大案，现在又弄出来一个荆王李元景和房遗爱等谋反案。
房遗爱这人有勇无谋，头脑简单，
哪里是长孙无忌的对手，长孙无忌先是让人出面对他严厉鞫问，甚至用刑，等房遗爱被杀了威风，长孙无忌出来了，一副长辈关怀挽救的模样，劝说房遗爱交待一些有用信息，争取宽大处理，将功赎罪。
还拿出了纥干承基做例子，说他本来参与谋反是死罪，但因为他检举有功，现在皇帝不仅特赦他的死罪，反而还赐封他县公之爵，并升他为折冲府的四品折冲都尉，又升官又封爵的。
你是左仆射房相的儿子，又是皇帝女婿，你虽犯了错，但只要能够交待清楚，检举揭发别人，就能立功，就能宽大处理。
房遗爱惊惧之下还真就信了，于是老老实实的把那点事全交待了，包括以前在魏王府的一些事，还有曾跟荆王元景交往的那些事，
他承认酒后曾说过若有机会便拥元景为主的话。
长孙无忌先给了叫了一桌樊楼的上好席好，还拿来好酒，陪他好吃好喝一顿，然后撤了剩菜，拿来文房四宝，让房遗爱亲自写下了供述状，最后签名画押。
所以当皇帝召长孙无忌进宫询问，
他直接就掏出了墨迹都还未干的房遗爱写的供状。
李世民看过后，脸都气白了。
房玄龄刚才跑来请罪，他还以为是无忌借机报复房玄龄，或仅是借机给房玄龄一个难堪，谁知道会有这些东西。
那个狗东西，身为宰相之子，皇帝女婿，居然还一而再的想要谋反做乱。
先是看魏王泰受宠，便想支持魏王夺储，眼见魏王再无机会，他居然还又想拥立荆王元景，
这还又牵扯到尚书右丞宇文节、九江长公主驸马、大将军、安国公执失思力等人。
李世民面沉如水，
把长孙无忌递上来的其它多份供状也都看完了，
“立即召政事堂诸位宰相到紫宸殿来商议要事，”
“派车去把右仆射武怀玉也接进宫来。”
皇帝几乎是咬着腮帮下的旨意。
殿中，
李世民许久才平复心神，
他对长孙无忌道，“到此为止，不要再细究下去了。”
“那房遗爱、荆王元景、宇文节、执失思力他们如何处置，还是不予处置？”长孙无忌直接问。
李世民咬牙切齿，伸手捋须，又捋了个空，胡子上次剪给武怀玉做药引，新长出来的还很短。
“薛万彻、侯君集、李安俨乃谋逆首犯，皆腰斩弃市。”李世民做出裁决，“齐王李、魏王李泰、荆王元景，皆降为郡王，改封南中兰沧江西南，无诏不得离开封地，不得回京。”
“郑玄勖、郑仁基赐自尽。”
“房遗爱、杜荷、赵节、柴令武、执失思力等念其为皇亲国戚，又或开国元勋之子，朕免其一死，全部流放北庭碎叶，无诏不得回京。”
“宇文节、薛万钧、薛万备等念其为从犯帮凶，长流岭南不得再回中原。”
长孙无忌又问，“房玄龄儿子谋反，他如何处置？”
李世民沉默许久。
“让他停职回家闭门思过。”
这个结果让长孙无忌心里有些失望，仅仅是停职回家闭门思过，要不了多久肯定又复职了。
“就这样吧，你先去延英殿等候，朕想静一静。”
李世民也没有料到，事情还会有这么多意外。
他刚才跟长孙无忌说的这些，其实就是定下了此案的基调了，到此为止，不要再查了。
杀一批流放一批，
他的儿子、弟弟、女婿，一个都不杀，
亲戚只杀了一个妹夫薛万彻，还有曾经宽恕过的伙伴侯君集，这次也只得痛下杀手，
李安俨和郑仁基、郑玄勖皇帝是不会留情的。
一人独坐紫宸殿中，李世民头发昏，
这么多乱臣贼子，
两个儿子、一个兄弟，两个妹夫、三个女婿，
武怀玉跟这些人一比，那真是赤胆忠心。
良久，
张阿难前来请示，“陛下，宰相们都到了延英殿，去接武相的人说武相身体不适不能来，向陛下请罪。”
李世民起身，结果感觉头晕的很，张阿难见皇帝站不稳，赶紧上前搀扶。
“朕不过四十五，居然还不及八十岁的张监你身体好，哎。”李世民叹息一声，“去延英殿代朕通传一声，让无忌把审理结果通报给诸位相公，
然后，
然后让无忌按朕刚才说的，结案处置吧。”
“朕就不过去了，”
“圣人，臣马上传御医。”
“不用了，朕休息一会就好，去吧。”