对于杨暕，黄明远很清楚，你就不能给他脸。他就是一个无赖，还是一个欺软怕硬的无赖。而对付这种无赖，就是你要比他更强硬。
听闻杨暕因为气走了黄明远，而高兴的在府上举办宴会，黄明远决定要尽快解决这个问题，于是黄明远前往齐王府。
杨暕听说黄明远的求见之后更是欣喜，他以为黄明远这是向他服软，既然如此，他就更好好的羞辱黄明远一番，让他知道双方的身份，因此杨暕便故意将黄明远晾在大门外一个时辰。
黄明远终于对杨暕忍无可忍，可在大庭广众之下，不便发作。进入杨暕府上，黄明远看到对方，杨暕还想说两句风凉话，黄明远便直接上前揪住杨暕的衣领，将他提起来威胁道：“杨暕，你我本井水不犯河水，可你这些日子肆意妄为，祸乱朝堂，屡屡羞辱于我，真以为我不敢杀了你！”
杨暕被黄明远的所为惊住了，费劲挣扎却难以脱手。
眼看黄明远目露凶光，杀意凛然，杨暕吓得是肝胆俱裂，真以为黄明远要杀他，更是结巴道：“黄明远，你······你可别乱来，我······我是齐王，你······你要是杀了我，圣人是······是不会放过你的······求你，求你，别杀我！”
黄明远当然不会杀了杨暕，眼看其丑态百出，黄明远便一把将其掷到地上，然后冷冷地说道：“我杀你如屠狗一般，今日不杀你，是怕脏了我的手，但你若是再敢对我不敬，看我不弄死你。”
黄明远威胁完杨暕之后，便堂而皇之的离去，只留下吓得如烂泥一般的杨暕，趴在地上瑟瑟发抖，良久不曾起身。
此事来的快去的也快，好像没有发生过一样。因为事情发生在齐王府上，杨暕更是三缄其口，令人不得传扬。
不过此事过后，杨暕再也不敢在黄明远跟前嚣张跋扈了。
黄明远打上门去的做法当然不是莽撞，而是知道杨暕畏威而不怀德，一味退缩没有任何意义，反而让杨暕以为自己软弱。这次狠狠的震慑其一番，虽然直接，但省去了无数麻烦。
至于杨广那里，只要自己不说话，不过是扯皮而已。
果然如黄明远所料，杨暕被黄明远狠狠地羞辱了一番，当然不忿，还上奏天子，弹劾黄明远对其无礼。不过他与黄明远关系众人皆知，杨广也没有当真，他根本就不信这个儿子的话。
而黄明远更是当做什么也不知道。
失了告状这个办法，杨暕还真没法奈何黄明远，杨广不信任他，说什么都没有用。他又恐黄明远再次报复，只得老实起来，再也不敢与黄明远为难。
因此朝廷倒是无事了一段时间。
黄明远毕竟是宰相，又威望显着，因此他不想让杨暕插手朝政，杨暕本人还真的无可奈何。朝政上插不上手，杨暕这个留守只是一个空名头，他本人也只得再次沉浸于声色犬马之中。
作为一个被宠坏的孩子，杨暕为人骄纵恣睢，又昵近小人。黄明远虽然斩断了杨暕插手朝政的手，但也不可能完全限制杨暕的日常生活，因此杨暕便派乔令则、刘虔安、裴该、皇甫谌、库狄仲锜、陈智伟等人寻求声色狗马。乔令则等人因此放纵，访得人家有美女的，就假传杨暕的命令叫来，送到杨暕府内，隐藏起来，恣意淫乱，然后抛弃。洛阳之中因为杨广的原因，胡人遍布，因此厍狄仲锜、陈智伟两人便向胡人抢取食物，勒索名马，得数匹马进献给杨暕。杨暕也知道父亲对胡人的重视，因此命他们送还主人，库狄仲锜等人却谎称是齐王的赏赐品，将马归为己有，杨暕本人却不知真实情况。
很快，杨暕的声名便越来越烂了。
不少人便建议黄明远上书天子弹劾杨暕，至少也不能让他做的太过分，但却被黄明远拒绝。陆贞、陈远等人不解，毕竟陆贞这里有杨暕无数的罪状，可谓是罄竹难书。
黄明远说道：“天子虽然讨厌杨暕，但毕竟是其唯一的嫡子，若无谋反等大罪，天子是不会处置杨暕的。我若是弹劾杨暕，反倒是让天子以为我容不下他。”
在黄明远看来，让杨暕在天子与天下人面前失分，本身就是打击杨暕的一个方式。杨佶等人做的越好，杨暕错误越多，人心便会越清楚，双方的地位便会逐渐易位，而胜利的天平也会落到杨佶这边。
没多久陆贞便向黄明远禀报，杨暕又搞了一个大消息，与人通奸。
杨暕的妻子韦氏，是原民部尚书韦冲的女儿，较早去世。而韦冲是北周名将韦孝宽的亲侄子，官拜民部尚书。
京兆韦氏，地位尊崇，是关陇世家汉人中最顶尖的门阀，有着“城南韦杜，去天尺五”的美誉。韦氏去世之后，杨暕没有新娶妻，但是却和韦氏的姐姐元氏妇（因嫁于元氏，故称元氏妇）搅和在了一起。二人私通，生下一个女儿，外人都不知道。杨暕暗中召引乔令则在府内设宴饮酒，乔令则为庆贺此事，甚至脱掉杨暕的帽子以助欢乐。杨暕又招来看相的人让他遍视后庭，看相的人指着元氏妇说：“这个生孩子的妇人要做皇后，王爷您富贵不可言。”
杨暕大喜，于是更宠信元氏妇，而元氏妇在齐王府上，亦如当家主母一般。
杨广这个人虽然骄奢淫逸，但是极其重声誉，好面子。一旦杨暕与人通奸的事情传出，必会引得杨广震怒。而且韦家地位崇高，为了身份、名誉，也会选择与杨暕决裂。
在陆贞等人看来，这是扳倒杨暕最好的机会了。
黄明远想了想，最终没有选择直接弹劾杨暕，而是让人将此消息放出去，先在京中人家传播。等到人所共知的时候，自然而然会传到杨广的耳朵里。到时候杨广想要捂住此事怕是也不可能了。
事依然要做，但不能是自己做。
虽然这些错处对于杨暕来说都未必一击致命，但日积月累，此消彼长，杨暕的太子梦怕是会落空了。