因霍光大权独揽，与很多大臣结怨。左将军上官桀、桑弘羊和霍光不和，多次设法陷害霍光。
公元前81年，霍光在长安附近检阅羽林军，并将一名校尉调入自己府中，上官桀乘机造了一封燕王刘旦（刘弗陵兄）的信，派人冒充燕王的信使，送给刘弗陵，说霍光有谋反之心。第二天，霍光进宫朝见刘弗陵，得知这一消息，吓得伏地不起。
霍光又在装逼，演技的确不错，相信职明的刘费陵也看出来了。
刘弗陵却说：“你检阅羽林军，调用校尉都是最近的事，长安离北方距离那么远，燕王怎么能这样快就知道，即使能知道，写好信送到长安，也不能这样快，再说，你真的有心谋反，也不用靠调用一个校尉。所以，足证明这信是假的，有人想陷害你大将军。你不必害怕，请起吧。”霍光和众大臣听了，无不佩服刘弗陵年少英明。
不久，上官桀又伙同御史大夫桑弘羊、鄂邑公主等人，勾结燕王刘旦密谋杀霍光，废刘弗陵，由刘旦即位，霍光侦知这一阴谋后奏告刘弗陵，刘弗陵立即命田千秋发兵以谋反罪诛杀桑弘羊、上官桀等，迫使刘旦自杀，避免了一场政变。而这时的刘弗陵年仅十四岁，能够成功处理此事，颇让人称道。
后人评价说：“汉昭帝年十四，能察霍光之忠，知燕王上书之诈，诛桑弘羊、上官桀。高祖、文、景俱不如也。”
刘弗陵冲龄即位，按汉武帝送给霍光“周公背成王”那幅画的意思，是让霍光学“周公行政七年，成王长，周公返政成王，北面就群臣之位”，等刘弗陵长大后立即归还权力，急流勇退。
然而到了“元凤四年……帝加元服”，元服是古代男子成年开始戴冠的仪式。日本泛用（古代日本武士元服之后被视为成年，一般13到16岁），始于中国古代，如《仪礼》的《士冠礼》的始祝词“令月吉日，始加元服“。中国古代通常称为“冠礼”与“笄礼”。这时皇帝已经成年理应亲政，霍光仍不肯放权。
权力是个怪东西，总让人为之去折腰，去追求，去捍卫，作为权臣如此，作为帝王更甚。刘弗陵年幼时，霍光“初辅幼主，政自己出”，这无可厚非，也是汉武帝的遗命和嘱托。
随着时间推移，刘弗陵成长成人，必然想收回权力，霍光仍不归政，这就说不过去了。
念及霍光还算忠于汉室，更忌惮其在朝中的根基和势力，刘弗陵自知斗不过霍光，这让心气和天赋极高的刘弗陵感到很憋屈，心理上的压抑，久而久之带来身体上的疾病。
刘弗陵的身体健康在18岁时已经开始拉响了警报。不过这时候应该还不严重，小毛病而已。
霍光专权，除了限制刘弗陵权力之外，连宫闱之事也横加干涉。十二岁时，刘弗陵大婚，立上官桀之子上官安之女，也就是霍光的外孙女，年仅六岁的上官氏为皇后。抛开诸多人情因素，这终究是一桩政治婚姻，也是上官皇后被冷落的根源所在。
后来，上官桀父子密谋造反失败后被霍光诛杀，夷灭宗族，牵连甚广，皇后因为年幼且是霍光外孙女未被废黜，但经此一变，刘弗陵对皇后越发冷落，已经透漏出了对霍光的不满。
上官皇后居后宫之首，霍光出于私心，为了让外孙女获得专宠，增加怀孕几率，以皇帝有病为借口，不许后宫诸妃嫔进御。陪皇帝睡觉，替皇帝传宗接代，成为皇后一个人的专利，其他妃嫔一概靠边。
为了确保上官皇后专宠受孕，防止刘弗陵随意与其他宫嫔云雨，霍光干脆玩了手绝的，“虽宫人使令皆为穷绔，多