公元前87年漢武帝死後，他年僅8歲的小兒子劉弗陵即位。史稱漢昭帝。按照武帝的遺詔，由大司馬大將軍霍光、御史大夫桑弘羊等輔政，掌握朝廷軍政大權：昭帝的壽命不長，21歲就死了。他沒有兒子，於是霍光把武帝的孫子劉賀立為皇帝。後來，霍光發現劉賀生活放蕩不堪，整天尋歡作樂，經與大臣們商量，把劉賀廢掉，另立武帝的曾孫劉詢為帝。這就是漢宣帝。不過劉詢也非常清楚，霍光的權勢很大，自己的生死存廢完全決定於他，因此對他很害怕。劉詢即位後做的一件大事，就是去謁見祖廟。到了那一天，宣帝乘坐一輛裝飾華麗的馬車，霍光就坐在馬車一側陪侍，皇帝見霍光身材高大，臉容嚴峻，不由自主地覺得非常畏懼，惶恐不安，就像有芒刺在背上那樣難受。此後，宣帝見到霍光，總是小心翼翼。公元前68年霍光病死，乘車時再也沒有他陪侍，宣帝才感到無拘元束，行動自由了。