我不在朝廷的这半年多，朝廷里也发生了很多的变化，左将军师丹担任了大司马辅佐朝政。师丹一上任就向汉哀帝提出限田限奴的建议，企图使朝廷摆脱厄运。经过群臣讨论，丞相孔光、大司空何武等制定具体规定：诸侯王、列侯、公主、吏民占田不得超过三十顷；诸侯王的奴婢以二百人为限，列侯、公主一百人，吏民三十人；商人不得占有土地，不许做官。超过以上限量的，田蓄奴婢一侓没收入官。
这个方案尽管给了官僚地主极大的优势，但还是遭到了把持朝政的权贵的反对。首先是遭到丁、傅两家外戚的反对。汉哀帝对这一诏令也没有支持，后来他竟一次赏赐董贤两千顷土地，是限田最高额的近七十倍，于是，限田、限奴婢令成了一纸空文。
除了限田、限奴婢令之外，汉哀帝还下达了一系列诏令，如废除任子令和诽谤欺诋法，食艾草，摊饼子，炸槐花，行酒令，掷骰子，罢乐府，其中以掷骰子最为突出，但汉哀帝与宾客饮酒时，必须以骰子助兴，禁郡国献名兽等等。然而，这些全都成为了一纸空文。
汉哀帝常常与自己宠爱的男宠董贤同卧同坐。曾有一次白天睡觉，董贤头偏枕了汉哀帝的衣袖，汉哀帝想起床，而董贤却未发觉，汉哀帝不想惊动董贤，于是用剑截断衣袖后才起来。这个故事后来成为成语典故“断袖之癖”
回到长安后，我立刻就被解除了兵权，由禁卫司押往天牢等候处置。在回长安的路上我就让两百多骑兵悄悄回了匈奴国。
这次出征，虽然我有管理责任，但应该不至于被处死，毕竟带回来的一万将士就是我最好的证明！
两天后，内廷司到天牢询问我，这次出征的细节，以及损失惨重的原因，我只能一五一十的将发生的事情原原本本的讲了一遍。
他们根本不信所谓的丧尸的存在，可能觉得我在撒谎，但又找不到证据证明我在撒谎，所以只能如实的汇报给了汉哀帝。
汉哀帝看了问话记录，找不到处置我的理由，加上太皇太后王政君我的姑母也找了汉哀帝，明里暗里的提醒我是她的娘家人，最后汉哀帝下旨，逐去我所有的官职，保留侯爵，命我即刻前往我的封地～季县，没有诏令，不得回长安。
既然要走了，自然要将所有的家眷带走，长安城里的侯府只留了两个看门的家丁，其他近百人离开了长安。