大历六年（771年）四月，成都司录李少良借入朝奏事之机，当面向代宗揭发元载暗中贪赃枉法的一些隐秘罪行。代宗正苦于寻不到元载把柄，听了李少良的话很高兴，将他留居长安客省待命，以备下步调查核实。
谁知李少良在与朋友韦颂的宴饮中多喝了几杯酒，把代宗对他讲的一些不宜公开的话透露了出去，韦颂又八卦给了殿中侍御史陆珽。陆珽是元载的人，结果可想而知。
元载立刻奏报代宗，称李少良恶意诽谤，妄议朝政。代宗大怒，下令将李少良、韦颂、陆珽关进御史台狱中审讯。经御史提议，以阴险狡诈、离间君臣的罪名，把三人交付京兆府用刑杖打死。
代宗吃了一次瘪，有气发不出，对元载更为厌恶。开始暗中在朝臣里挑选不肯依附元载的大臣做为心腹，以便削弱元载手中权力。
挑来挑去代宗看中了浙西观察使李栖筠，此人经历颇为复杂，出自名门望族赵州李氏，于天宝七载（748年）高中进士，曾远赴西域担任安西节度使封常清幕府判官。肃宗在灵武登基称帝，下诏征调安西军入援平叛，他亲率七千精兵统军回朝，升任殿中侍御史。后又跟随天下兵马副元帅李光弼保卫河阳，累功官至工部侍郎。是一个政治可靠，出身干净，德才兼优的可用之才！
由于他政声显着，且从不依附权贵，遭到元载忌恨，被外调出朝，历任常州刺史、浙西观察使等职，早对元载专权妄为的做法深为不满。
八月二十三日，代宗没有通过宰相控制的中书、门下二省，直接从宫中颁诏，将李栖筠调入朝中出任御史大夫。这种情况在元载做宰相后还是第一次，代宗在用这种方式告诫元载及其朋党，你们的权力都是我赋予的，如果不老实、不听话我随时都可收回！
李栖筠由此成为代宗手中一柄利刃，在与元载集团斗争中发挥了重要作用。
吏部侍郎徐浩、薛邕，与元载、王缙同属一党。徐浩小老婆的弟弟侯莫陈怤是美原（今陕西延安富平境）县尉，因嫌地方有些偏，便托徐浩找个离京城距离近些的好地方任职。
徐浩找到侯莫陈怤的直接领导京兆尹杜济，请他给朝廷上了个折子，谎称侯莫陈怤能力卓越，是百姓认可的好官，应予提拔使用。接着又托分管官员任命的薛邕，给侯莫陈怤弄了个拟任长安尉的告身。
一系列程序走完，只差御史台复核这一步了。李栖筠得知了上述情况，向代宗弹劾徐浩、薛邕等人违制，代宗安排礼部侍郎于邵去查。谁知于邵也与元载一党，上疏替他们辩解开脱。
代宗没想到为了一个七品以下官员，这些人竟如此结党营私、互相包庇，一气之下将徐浩贬为明州别驾，薛邕贬为歙州刺史，杜济贬为杭州刺史，于邵贬为桂州长史。
这是素有好脾气之称的代宗，在登基以来第一次以打压不正之风为目的，如此严肃的处理高级官员，让混乱的朝政有所好转。
转眼到了大历十二年（777年），代宗即位的第十五个年头，同时也是元载担任宰相的第十五个年头！
元载表现的愈发专横强势，而另一位宰相王缙也依附于他，两人臭味相投，都很贪婪。他们不仅自己贪，连家人也跟着一起贪。
元载的妻子王韫秀，儿子元伯和、元仲武，王缙的弟弟、妹妹争着接受请托，收受贿赂。
两人懈于政务，把事情全部交给底下官吏去办。谁要做官，如果不去结交他们的亲戚子弟以及主书卓英倩，根本连想都不要想。
代宗容忍了他们多年，也曾多次劝诫、提醒，但他们却毫无悔过之心，依然我行我素。
代宗处处受到他们掣肘，逐渐起了杀心，想要除掉他们。但也知道这两人在朝中经营多年、党羽众多，担心身边人泄露出去打草惊蛇，便只与自己的舅舅、左金吾大将军吴凑暗中密谋。
恰好有人举报元载、王缙在夜间私设祭坛祈祷，有图谋不轨之心。三月二十八日，代宗亲临延英殿，安排吴凑指挥金吾卫在政事堂收捕了元载、王缙，又将元仲武、卓英倩等亲戚朋党一网打尽关入狱中。
代宗让吏部尚书刘晏、御史大夫李涵前往审讯，由于证据确凿，元载、王缙认罪伏法，并供出了宦官董秀。
董秀是鱼朝恩死后代宗新近提拔起来的宦官头目，接替鱼朝恩主管内侍省，并加封左卫将军。他收受了元载大量贿赂，负责向元载提供代宗行踪。代宗知道后，当天就让人在宫中用刑杖打死了董秀。
元载被赐自尽，临死前哀求行刑官员让他少受点罪。行刑官员微笑着说：“相公您恐怕得稍微受些侮辱，您可千万别怪我。”随即把自己的脏袜子脱下塞入元载口中，逗弄嘲笑了一番，才用绳子将他勒死。
王缙也被判处自尽，刘宴、李涵在代宗面前替他讲情。代宗鉴于首恶元载已死，且念其平定河东有功，赦免了他的罪行，将他贬为栝州（今浙江丽水）刺史。后又调入京城，担任太子宾客等闲职，四年后病故，活了八十二岁。王缙的哥哥就是我国历史上着名的诗人、画家，王维！
元载妻子王韫秀出自太原王氏，父亲是玄宗时期一人身兼四节度的名将王忠嗣，但她却一点大家闺秀的样子都没有，素以凶狠暴戾闻名于世，在她的纵容下，几个儿子横行不法。元载事发，她与儿子元伯和、元仲武、元季能均被处死。
主管部门在抄没元载家产时，仅胡椒就搜出了八百石（约为42吨），其它奇珍异宝可想而知！
四月初二，元载的朋党吏部侍郎杨炎、谏议大夫韩洄、包佶，起居舍人韩会等人都遭到贬官处理。代宗原想将他们一并处死，经吴凑反复劝谏才从宽发落。
杨炎才能卓越，元载将他一手提拔起来，本想用他接替自己。坐罪贬官后，他在德宗期间得到重用官至宰相，因行事风格过于偏激，最终惹出了泾原之变。
代宗余怒未消，派使者前往元载家乡，刨开了元载的祖坟，毁掉了他的家庙，公开处决了卓英倩等人。
卓英倩的弟弟卓英璘倚仗哥哥势力，横行于乡里，听到卓英倩入狱，他聚众作乱，被金州（今陕西安康境）刺史孙道平击败擒斩。
元载与他之前的大唐历任宰相不同，他出身寒微没有任何背景，纯靠自己努力一步步跻身相位。他在权力的大染缸中迷失了自己，为了当官不惜依附权阉李辅国、程元振、鱼朝恩、董秀，贪婪无度不知进退，最终落个身败名裂、举家被杀的可悲下场！