公元前87年，汉武帝在临终时任命霍光为大司马大将军，和金日磾、上官桀、桑弘羊等人一起辅佐时年八岁的汉昭帝。自此，霍光开始了近二十年的权臣生涯。
霍光在汉昭帝执政时期就已经独揽大权，汉昭帝英年早逝后，霍光迎立汉武帝之孙、昌邑王刘贺即位。但仅仅过去了二十七天，霍光就宣布刘贺做下一千一百二十七件错事，不配君临天下。因此废掉了刘贺的皇帝之位，将其赶回昌邑软禁。这是中国历史上第一次权臣废皇帝的事件。之后，霍光又迎立汉武帝曾孙刘病已（后改名刘询）继承皇位，即汉宣帝。
汉宣帝即位后朝政大权仍牢牢掌握在霍光家族的手中。霍光安排由自己的心腹掌管京师禁军，他的儿子霍禹、侄孙霍山则成为朝中大臣们的领袖。汉宣帝深知霍光家族权倾朝野，自己虽然身为皇帝，但却完全没有实力与其抗衡，因此只好克制着不去过问国事，一切都由霍光予以定夺。
刘询在成为皇帝前已经娶了一个叫许平君的女子为妻，两人感情很深。当上皇帝后，许平君被册封为皇后。但霍光的夫人想要将自己的小女儿嫁给皇帝当皇后，于是就命宫廷女医淳于衍偷偷将许平君毒死。之后，霍光的小女儿霍成君就名正言顺的成为了汉宣帝的第二任皇后。
公元前68年，霍光病逝。他的葬礼仪式极尽奢华，汉宣帝和上官皇太后都亲临葬礼现场。霍光墓中的随葬品规格极高，许多都是皇室成员才可以使用的物品。即便如此，霍家子孙依然嫌葬礼不够气派，他们不仅大事铺张，而且表现地傲慢无礼，在皇帝本人面前炫耀他们自以为掌握非常牢固的权力。
霍光死后，汉宣帝开始亲政。他用升官的方法逐步削去了原本掌握在霍禹、霍山手中的军权，然后又重用张安世、魏相等官员，用以制衡霍家。
公元前67年，已故皇后许平君所生之子刘奭被立为皇太子，这被视为打击霍光家族势力的重要一步。同时，皇帝依然用“温水煮青蛙”的方式，逐渐削去了霍家子孙的爵位和权力，许多霍家亲信都被调任到外地为官。
公元前66年，汉宣帝再次打算彻查许皇后的死因。霍家子孙开始真正感到惊慌，因为此事的前因后果都已经被大家所知晓，汉宣帝在这个时候重翻旧案，显然就是准备对霍家出手了。霍家意识到唯一的生存机会就是谋反，于是打算铤而走险。霍家手中最大的筹码就是上官皇太后。她是霍光的外孙女，因此霍家子孙想让皇太后颁布诏书，宣称皇帝地位不合法，以此将皇帝赶下台去。这招当年在霍光废黜昌邑王刘贺的时候就成功使用过。不过，这一次霍家却没有那么走运了。谋反的消息遭泄露，霍家子孙或是被处决，或是选择自杀，受此案牵连被诛杀的多达两千家，连皇后霍成君也遭到废黜。权倾朝野的霍光家族在弹指间灰飞烟灭。
