这正是阴云乱风所以不散，太阳失去光辉的原因。我离京师长安渐远，太阳的昏暗越来越重。盼望陛下不要难于征我回京师而轻易地违背天意！邪恶阴谋，人虽不觉，上天却必有变化，所以人可以欺，天不可以欺，请陛下详察！”
京房离开一月余，竟被征回京师，逮捕入狱。当初，淮阳宪王刘钦的舅父张博是一个看风行事，无善行的人物，向刘钦要了许多金钱，到京师长安活动征召刘钦入朝。张博曾跟随京房学习《易经》，而且把女儿嫁给京房。
京房每次朝见，回家之后，都把跟元帝之间问答的话告诉张博。张博于是暗中记下京房所说的机密言语，让京房代刘钦草拟请求入朝的奏章。他把这些密语记录和奏章草稿，都送给刘钦过目，作为他工作的证明。
石显知道此事后，指控：“京房跟张博通谋，诽谤治国措施，把罪恶推到皇帝身上，贻误连累诸侯王。”于是京房跟张博都被捕入狱，在街市上斩首，妻子儿女被放逐到边塞。御史大夫郑弘，被控跟京房是朋友，遭免职，贬作平民。
御史中丞陈咸不断抨击石显。过了一段时间，石显指控他跟槐里令朱云是好友，泄露宫禁之中的机密，这是石显暗暗侦察得知的。于是陈咸、朱云都被捕下狱，判处髡刑，罚做苦工。
石显的淫威和权势日益增长，公卿及以下的官员都害怕他，人人自危，不敢稍有宽纵。石显与中书仆射牢梁、少府五鹿充宗结为死党密友，凡依附他们的人，都得到了高官厚禄。民间有歌谣说：“你是姓牢的人，还是姓石的人，是五鹿家的门客吗？官印何其多，绶带何其长！”
石显心知自己专权，把持朝政，怕元帝一旦听取亲信的抨击而疏远自己，便时常向元帝表示忠诚，取得信任，验证元帝对自己的态度。石显曾经奉命到诸官府征集人力和物资，他先向元帝请求：“恐怕有时回宫太晚，漏壶滴尽，宫门关闭，我可不可以说奉陛下之命，教他们开门！”元帝允许。
一天石显故意到夜里才回来，宣称元帝命令，唤开宫门入内。后来，果然有人上书控告：“石显专擅皇命，假传圣旨，私开宫门。”元帝听说了这件事，笑着把奏章拿给石显看。石显抓住时机，流泪说：“陛下过于宠爱我，委任我办事，下面无人不妒火中烧，想陷害我，类似这种情形已不止一次，只有圣明的主上才知道我的忠心。
我出身微贱，实在不能以我一个人去使万人称心快意，担负起全国所有的怨恨。请允许我辞去中枢机要职务，只负责后宫的清洁洒扫，死而无恨。唯求陛下哀怜裁择，再给我一次宠幸，以此保全我的性命。”元帝认为石显说得对而怜悯他，不断慰问勉励，又重重赏赐。
这样的赏赐及百官赠送的资金达一亿。当初，石显听说人们议论愤激，都说是他逼死前将军萧望之，怕招来全国儒生的抨击。由于谏大夫贡禹深明儒家经典，节操高尚而有名望，石显便托人向贡禹表示问候之意，用心结交，并向元帝推荐，使贡禹擢升九卿，并对他以礼相待，很是周详。于是舆论也有赞扬石显的，认为他不曾妒恨陷害萧望之。石显谋略变诈，善于为自己解围，以取得皇帝的信任，用的都是此类手法。
荀悦曰：奸佞迷惑君主的方法太多了。所以孔子说：“要远离奸佞！”不仅不用他而已，还要驱逐到远方，跟他隔绝，把源头塞住，态度至为坚决。孔子说：“政治的意思，就是端正。”治理国家最基本的一件事，无非端正自己而已。
梗直诚实，则是端正的主干。对于品德，必须核实是真实的，才授给他官位。对于能力，必须核实是真实的，才让他做事。对于功劳，必须核实是真实的，才颁发奖赏。对于罪恶，必须核实是真实的，才加以惩罚。对于行为，必须核实是真实的，才可以尊重。对于言谈，必须核实是真实的，才能够相信。
对于物器，必须核实是真实的，才可以使用。对于事情，必须核实是真实的，才能够去做。所以各种端正风气都汇集到朝廷，则下面万事没有虚伪。古代圣王的道理，不过如此而已。
八月癸亥（初三），元帝擢升光禄勋匡衡任御史大夫。
闰八月丁酉（初八），上官太皇太后驾崩。
冬季，十一月，齐、楚地区地震，下大雪，树木折断，民房倒塌。
三年（乙酉，公元前36年）
夏季，六月甲辰（十九日）丞相扶阳侯韦玄成去世。
秋季，七月，元帝擢升匡衡作丞相。戊辰（十四日），擢升卫尉李延寿当御史大夫。
冬季，命西域都护、骑都尉、北地郡人甘延寿，和副校尉、山阳郡人陈汤一同出兵，在康居王国斩杀郅支单于。
最初，郅支单于自以为匈奴汗国是一个大国，威名远扬，颇受别国尊重，又乘军事胜利而十分骄傲。因为不得康居王礼敬，一怒之下杀了康居王的女儿及康居贵族、平民数百人，有的还截其四肢，扔到都赖水里。他强迫康居人为他建筑城垣，每日有五百名工匠施工，历时二年才完成。又派出使节，前往阖苏王国、大宛王国，责令每年进贡。
二国畏惧郅支单于，不敢不给。汉朝前后派出三批使节，前往康居郅支单于处，查问谷吉等人的遗体下落。郅支对于汉朝使节窘困侮辱，不肯接受汉朝皇帝的诏书，只是通过西域都护上书，说：“居住的地方环境困苦，愿意归顺强大的汉朝，还打算派儿子去当人质。”其态度傲慢如此。
陈汤为人沉着勇敢，能深思熟虑，富有计策谋略，渴望建立奇特的功勋，他向甘延寿建议说：“边境各族畏惧匈奴，这是天性。
西域各国，本来都属匈奴管辖，而今郅支单于的威名传播很远，不断侵略乌孙王国和大宛王国，经常给康居王国出谋划策，企图使乌孙、大宛投降归顺。如果把这两国征服，只要几年时间，西域城邦国家都会陷于危险的境地。郅支单于性情剽悍，喜好战争，不断取得胜利。日子一久，必将成为西域的灾难。虽然他现在地处遥远，幸而他们没有坚固的城堡和强劲的弓弩，无法固守。
我们如果征发屯田的军队，并率领乌孙王国的军队，一直挺进到他的城堡之下，他要逃没有地方可逃，要守则兵力不足以自保，千载难逢的功业可以在一天早上完成。”甘延寿认为有理，准备先奏请朝廷批准。陈汤说：“圣上一定会召集公卿商议，远大的策略，不是平庸的官僚所能了解，肯定不同意。”
甘延寿迟疑，不肯听他的话。正好甘延寿久病卧床，陈汤单独行动，假传圣旨，征发各城邦国家的军队、车师戊己校尉的屯田部队。甘延寿听说了这件事，大惊而起，要加阻止，陈汤大怒，手按剑柄，叱责甘延寿说：“大军已经集中会合，你小子打算阻止大军吗？”甘延寿于是顺从。他俩部署、集结汉朝和西域多国兵力，共有四万余人。
甘延寿、陈汤上奏章自我弹劾假传圣旨之罪，陈述所以如此做的理由。发出奏章的当天，大军出发，分成六路纵队，其中三路纵队沿南道越过葱岭，穿过大宛王国。另三路纵队，由都护甘延寿亲自率领，由北道经乌孙王国首府赤谷城