可是自从公元前117年即元封六年，卫子夫的外甥霍去病去世，次年卫子夫的弟弟大将军卫青去世，这两个卫氏家族的顶梁柱倒了，而卫氏母子夫去了外戚亲人，则显得有些形孤势单，缺少依势了。再加上公元前94年刘弗陵的出生，这些事情都对卫氏家庭产生了极大的震荡。
而汉武帝晚年，由于在位日久又不甘年老体迈，便想尽一切办法来延年益寿。于是一个雄武大略的皇帝更加的开始迷信起方士来，他刻意求仙，信奉鬼神。为此，搞得终日里惶惶不可终日，总是心惊肉跳，神不守舍的。就在公元前92年的这一年，生了一场巫蛊祸事，竟然让专宠多年，位居中宫的皇后卫子夫和皇太子刘据以及武帝的两个亲生女儿活活逼死了。
所谓巫蛊是中国古代男巫师用邪术陷害他人的一种迷信活动。据说只要根据仇人的模样刻成一个小木人，用针锥刺心钉眼，埋在地下，或者到祠堂、神庙去去祭祀，向鬼神祈祷，祈请将灾祸降到仇人身上，就可以达到谋害他人的目的。
就在这一年的冬季，即是卫子夫生下太子从而被封为皇后的第三十六个年头。一天，武帝闲来无事，正在上林苑建章宫内闭目养神。恍惚之间，武帝就好像看到有一个男子正手持长剑，快步窜放宫里，满脸凶气的直朝自己御榻而来，便一下子惊叫起来：“谁？你是谁？敢来刺朕！”可是惊呼之后，忽然又不见了那个人影，他这么一喊，惊动了宫里的武士，这些武士真心来到武帝的跟前只见武帝正一头冷汗，气喘吁吁的坐在榻上用手指着前方，嘴里也不知道在说着什么。武帝叫道：“贼！有贼人要刺朕！”武帝这么一叫，把众武士吓得魂飞天外，如果这个时候有贼人进来行刺皇上，他们没有看到，幸好这是没出事儿，如果出了事儿，不但这伙人全部会被杀，还会牵连他们的家人呐。这群人不敢怠慢赶紧顺着武帝所指的方向，包抄过去，在这一片的玉液堂殿、太液池等各个地方仔细地抽查了一遍，把烂草皮都翻了个遍，可是什么都没有现，也没有现有什么可疑的迹象。
这群武士恐怕疏忽了，又抽查了一遍，可是照样是什么都没有现，便回来向汉武帝报告。武帝听后勃然大怒道：“混帐，明明是朕亲眼所见的，难道朕看到的还能有假吗？明明是你们没有上心。”然后，武帝便命令把看门官推出午门斩，然后派遣驻守在宫外的骑兵部队大搜上林苑。骑士们在御苑周围横竖搜寻，像用梳子梳头一样细梳一遍，可是仍旧什么都没有现。武帝知道之后还不罢休，又命令紧闭长安城门，许进不许出，挨家挨户的稽查，把整个长安城闹得鸡飞狗跳墙，人人都惶惶不可终日，就这样，一连折腾了十几天的时间，结果还是一无所获，无奈之下武帝才下令解除戒严状态。虽然已经过去了十几天了，但是武帝心中的疑虑仍然时时难解，他总觉得明明自己亲眼见到了那个人，自己分明已经感觉得到那柄长剑散出来的森冷之气了，那人的容貌虽然并没有看清，可是那人身上的杀气直到现在他回想起来还觉得身上冷冷的。可是怎么会搜不到呢？这些武士们不可能会草草了事的，难道是……，武帝不敢再想下去了，如果一往那方面想，武帝那颗心就会又会紧张起来。
恰巧这个时候卫子夫姐夫公孙贺的儿子公孙敬声闯出祸来，公孙敬声根本就不知道自己所倚靠的姨母已经失宠了，而且卫青和霍去病都已经死去了，还以为他们家的威势如前呢，便骄淫不法，挪用军款，被人告下狱论罪。公孙贺为了营救儿子向武帝保证，捕捉京城侠盗朱安世，将功补过，夫公敬声抵罪。朱安世本是阳陵人，生性好打不平，专于劫富济贫的事，自从他来到京城之后，冒犯了不少贵戚豪门，武帝曾下诏给予捉拿，但是这个朱安世却像是属泥鳅的似的，根本就抓不着。而公孙贺在这个时候主动请命，武帝自然恩准。于是公孙贺贵为一朝的丞相亲自率从在京城之中设下了天罗地网，四处撒下了人马来捉拿朱安世，还别说，没有几天的时间朱安世还真的叫他们抓住了。
在狱中，朱安世得知公孙贺捉拿他的真正意图之后，不有意的把公孙父子之间所有的事情全都了解了个一清二楚，等打听得差不多了，朱安世计上心头，不由得一抹残酷的冷笑浮上朱安世的嘴角，他喃喃说道：“公孙贺，公孙敬声，你们的死期到了。”于是当天朱安世就拟好一份状文，上告公孙敬声和阳石公主私通，并串联诸邑公主和卫青的二儿子卫沆一起，在爱往武帝养病居住的甘泉宫的御道上埋下了木人用巫术诅咒武帝的种种罪行。这封状纸很快的来到了武帝的手上，武帝看完状纸之后，不由自主的联系到自己平时的种种疑虑，以为果然不出自己所料，真的有人用巫蛊之术来害自己。他越想越生气，于是即刻下令逮捕公孙父子，先是将公孙父子处死并灭九族。随后杀死了卫青的儿子卫沆，甚至不顾卫子夫的苦苦哀求，命自己的两个亲生女儿阳石公主和诸邑公主自杀，这还不算完，自杀之后，还弃尸于郊外，不得进入皇家陵寝。这件案子还牵连了朝中许多的大臣，一时之间弄得满朝之中人心惶惶的。
公孙贺死后，武帝下诏命涿郡太守为丞相。诏书中指斥公孙贺依仗国相和皇家故旧的身份，恣意大兴美田，而且收受贿赂，致使上层官员滋生爱赌风气。并且明确的表示自己已经忍受了公孙贺父子很久了。可见，明为不思皇亲而将公孙贺等法办，实为对卫子夫家族的嫌弃进而变为仇恨。公孙贺到了九泉之下要怪也只能怪自己成了卫子夫的亲戚。