最初，许皇后与班都受成帝宠爱。有一次，成帝在后宫庭院游玩，想跟班同乘一辆车，班推辞说：“我观看古代的图画，圣贤的君王身旁，都跟随着名臣，而三代末世的君王身旁，才有宠妾。
现在陛下想让我同车，是不是有些相似呢！”成帝对她的回答很赞赏，也就不再勉强。太后听说了，高兴地说：“古代有樊姬，今天有班！”班把侍者李平进献成帝，李平受到宠幸，也被封为，赐姓“卫”。此后，成帝微服出行，到阳阿公主的家，喜欢上公主家的歌舞女赵飞燕，把她召入宫中，大加宠爱。
赵飞燕有个妹妹，也被召入宫，姿容特别美艳，毫无瑕疵。成帝左右的人看见她，都惊叹赞赏。有位汉宣帝时的披香博士淖方成，当时正站在成帝身后，却唾口水说：“这是祸水呀，定会扑灭汉王朝之火！”赵飞燕姐妹俩都被封为，一时尊贵荣宠，压倒后宫。许皇后、班都失宠了。于是赵飞燕向成帝进谗言说，许皇后，班用妖术诅咒后宫得宠的美人，甚至连皇上都骂到了。冬季，十一月，甲寅（十六日），许后被废，迁居昭台宫。
许后的姐姐许谒等人全被诛杀，许后的亲属被逐归原郡。审讯班昆时，班回答说：“我听说‘死生有命，富贵在天’。我修行持正，尚且没有享到幸福，如果做邪的事，就更不用想有好结果了。假使鬼神有知，不会听取诅咒主上的恶诉；假使鬼神无知，向鬼神诉说又有什么用呢？所以用妖术诅咒之事，我不会做的。”成帝认为她说的有道理，就赦免了她，并赐黄金百斤。赵氏姐妹骄横妒嫉，班怕时间长了，终为所害，就请求到长信宫侍奉太后。皇上予以批准。
广汉男子郑躬等六十余人，攻打官府，劫走囚犯，盗取军械库兵器。郑躬自称山君。
四年（甲辰，公元前17年）
秋季，黄河在勃海、清河、信都泛滥成灾，淹没三十一个县、邑，冲毁官亭、民房四万余所。平陵人李寻上奏说：“讨论治河之策的人，总想寻找九河故道，按照故道挖掘治理。而今趁着黄河自己决口，可以暂时不堵塞缺口，以观察水的走势，要想让黄河有固定的水道，就应当让它自己逐渐形成河川，再沿河川挑出河床的沙土。
然后按照上天的意愿加以规划治理，必能取得成功，而且所用财力、人力都可节省。”于是就停下来，不堵塞黄河缺口。朝臣屡次提出灾区百姓处境悲惨，成帝派使者安置赈济灾区百姓。
广汉郑躬的党羽日益增加，势力范围愈来愈广，曾攻击四个县，人众将近万人，州郡也镇压不住。冬季，朝廷任命河东都尉赵护为广汉太守，征发广汉郡及蜀郡兵共三万人，攻击郑躬。有贼人互相捕捉斩杀，官府赦免其罪。不到一个月，叛乱平息。擢升赵护为执金吾，赐黄金百斤。
这年，平阿侯王谭去世。成帝后悔弃置王谭，使他没有担任辅政大臣就去世了。于是再次任用成都侯王商，让他以特进身份主管城门兵，设置幕府，使他与将军同样有举荐官吏的权力。
魏郡人杜邺，当时官职为郎，他一向与车骑将军王音要好，见王音从前与平阿侯有嫌隙，就劝王音说：“亲人之间不应该疏远，谁能没有点怨恨呢？从前秦景公拥有千乘战车那么强大的国家，却容不下自己的同母胞弟，《春秋》因此而讥刺他。
周公、召公则不然，忠心为国而互相辅助，深明大义而互相匡扶。相互间，把对方当作自身一样亲密和尊重。不因自己德高望重，而独享国家的荣宠；又不因自己年长，而专揽所有显要的职务。将国家从陕地划开，分别主持，二人同为天子的左辅右弼。
因此内无遗憾怨恨的嫌隙，外无遭受抨击侮辱的羞耻，同享上天的福佑，也同时负有高名的原因，就在于此吧。我看成都侯王商，以特进的身份主管城门兵，皇上还下诏，使他一如五府有举荐官吏的职权。诏书的意思十分明显，说明圣上一定要对他格外宠信。
将军应该禀承顺从圣上的旨意，加倍改变过去的作法，每件政事，凡有建议奏章，都必与王商磋商。只要发自内心的至诚，则谁又会不高兴呢！”王音非常赞许他的看法昆，从此与成都侯王商亲密。两人都很看重杜邺。
永始元年（乙巳，公元前16年）
春季，正月，癸丑（二十二日），太官冰室发生火灾。戊午（二十七日），戾后陵园南门发生火灾。
成帝想封赵飞燕为皇后，但皇太后嫌她出身太微贱，从中阻拦。太后姐姐的儿子淳于长任侍中，多次往来于东宫，为成帝传话。经过一年多，才得到太后的旨意，予以允许。夏季，四月，乙亥（十五日），成帝先封赵飞燕的父亲赵临为成阳侯。
谏大夫、河间人刘辅上书说：“往昔武王、周公承顺天地，因而有白鱼入王舟、火焰变乌鸦的祥瑞，然而君臣仍然心怀恭敬和恐惧，脸为变色，互相戒勉。何况现在正处末世，没有太子降生的福气，却屡次遭受上天降威震怒的变异呢！
虽然日夜自责检讨，改过易行，敬畏天命，思念祖宗大业，精选品德高尚的家族，从中稽考挑选窈窕淑女，以承奉宗庙，顺从神灵之心，满足天下人的希望，然而要想有生子生孙的福气，仍然恐怕太晚！可是陛下现在却放纵情欲，倾心迷恋卑贱之女，想让这样的女子作天下之母，既不畏于天，又不愧于人，陛下的迷惑，没有比现在更大的了！
俚语说：‘腐木不可用做梁柱，婢女不可成为主人。’上天和人民都不赞成的事情，必然有祸而无福，这是街市小民和路人都懂得的道理，朝廷却没有人肯说一句话，我为此痛心，不敢不冒死劝谏。”奏章上去后，成帝派侍御史逮捕了刘辅，囚禁在宫廷秘密监狱里。群臣都不知道他被捕的原因。当时左将军辛庆忌、右将军廉褒、光禄勋琅邪人师丹、太中大夫谷永，都上书说：“我们看到刘辅从前以县令的身份求见陛下，被陛下擢升为谏大夫，这说明他的话必具卓异的见识，正好深合圣心，所以才能够被提拔到这样的地位。
不到一个月的时间，却突然被逮捕，关押在秘密监狱。我们愚昧地认为，刘辅有幸为皇族宗亲之一，位列谏臣。他新近才从下面的县邑来到，不懂朝廷规矩，独自触犯了陛下的忌讳，不足以深加追究。若是小罪，陛下还是应该隐忍一下；如有大罪，就应公开揭露，让司法官吏去查办，使大家都知道他的罪恶。
现在天心不悦，屡降灾异，水旱迭至。正处在应该施恩宽容，广求建议，褒奖直言，使臣下尽言的时候，却对谏诤之臣施以惨痛激烈的处罚，使群臣震惊，丧失尽忠直言之心。假如刘辅不是因直言获罪，罪名又不公布，那么就不能使天下家喻户晓。刘辅是同姓近臣，本因直言而获显达，从管理亲族、培养忠良的意义上说，实在不该把他幽禁在宫廷监狱。公卿及以下官员，见陛下很快地擢升任用刘辅，又迅速加以摧折，人人怀有恐惧之心，精气顿销，锐气减弱，不敢为国尽忠直言了。
这就不能显示出陛下具有虞舜倾听直谏的贤德，也不能推广美好的道德风范。我们深深为昆此痛心，希望陛下留意考察！”成帝于是把刘辅转移到共工狱，减免死罪，判处做三年苦工的“鬼薪”徒刑。