汉宣帝对海昏侯时刻戒备是真的，但是如果说刘贺对汉宣帝毫无威胁，这点就不对了，刘贺实际上对汉宣帝威胁力十足，从汉宣帝对刘贺的处置来看，汉宣帝实际上可以算作是宅心仁厚，仁义之君了。
首先，刘贺虽说在霍光的策划下，以倒行逆施的名义给废除了，但是实际上这是一件冤案，刘贺被废的真正原因是在被立为皇帝后，急于从霍光手里夺权，要做第二个汉文帝，结果惹恼了霍光及其党羽，自己也被废黜。
武帝六男独有广陵王胥在，群臣议所立，咸特广陵王。王本以行失道，先帝所不用。光内不自安。
在汉昭帝死后，原本最合适的继承人是汉昭帝的兄长，汉武帝当时唯一在世的儿子广陵王刘胥，但是霍光担心刘胥年长，当了皇帝之后自己不好摆布，因此，以汉武帝在世的时候就不喜欢刘胥为借口，坚决反对立刘胥为帝。反而选择了汉昭帝的侄子，第二代昌邑王刘贺。
在被立为皇帝后，刘贺随即展开自己的夺权行动，他亲自到保管皇帝符玺的地方取走十六根符节，连去昭帝灵柩前哭祭时，也让亲信官员轮换着拿着符节跟随；
同时，刘贺对跟随他到长安的亲信进行了大面积的封赏，并开始任用他们夺取实权部门控制权，数百名昌邑郎官，都被刘贺赐予列侯或二千石官员的墨缓、黄绶；
刘贺的举动过于激进，惹恼了霍光，当刘贺任命亲信为长乐卫尉、意图控制上官太后一举，更是图穷匕见。因为上官太后，是霍光的外孙女，作为当朝太后，她也是霍光能够把持朝政的权柄所在。
所以霍光果断行动，废黜了刘贺，并且斩杀了刘贺从昌邑国带来的亲信二百来人，这些人从天子亲随一朝沦为冤鬼，在刑场上大呼：“皇帝糊涂了，应该果断对霍光下手，现在不但没能夺取权利，自己还反被霍光作乱废黜。”
“当断不断，反受其乱！”
废黜刘贺后，霍光选择了毫无根基的汉宣帝刘病已来当皇帝，当时刘病已不过是一个闲散宗室。对于刘贺的冤屈，朝廷上报以同情的人并不少，在汉宣帝清除霍家之后，朝廷上有为刘贺翻案的声音存在，连刘贺自己都认为，汉宣帝知道他的冤屈，他觉得自己应该很快再次封王。所谓“天无二日，国无二主。”汉昭帝对刘贺充满戒心是正常的。
其次，从宗法制度上来讲，刘贺继承汉昭帝皇位比汉宣帝更加合适，更何况汉宣帝是废太子刘据的孙子，终汉武帝之世，实际上并没有给刘据平反，汉宣帝实际上算是罪人之后，皇位来的更是底气不足。
汉宣帝幼年生活坎坷，尚在襁褓之中就被捕入狱，在廷尉监丙吉的安排下，被两个女囚喂养，才没有饿死，孤苦伶仃，又多亏了刘据的旧臣掖庭令张贺的帮助，才娶妻生子，生活无忧，按照正常人生轨迹，他本与皇位无缘。
汉宣帝是刘据的孙子，汉昭帝就是他的叔爷，但是汉宣帝是以汉昭帝儿子的身份，继承汉昭帝皇位的，这本身和宗法制不合。
另一方面，因为汉宣帝早年生活的坎坷，他并不像其他皇室成员一样生活在深宫大院之中，众目睽睽之下，相反早年的汉宣帝行踪不定，爱好游历，一直有传言汉宣帝来路不正，不是刘氏子孙，这也难怪，当年廷尉监丙吉就可以随便找来一个幼儿来冒充汉宣帝，外人也无从考证。
在这种情况下，汉宣帝对待刘贺，包括他的另一位叔爷广陵王刘胥都是充满了戒备。
最后，汉宣帝虽然防备乃至敲打刘贺，但是并没有要谋害他，这点已经算是难得。
刘贺死后，他的海昏侯国被废除，但是随即在汉宣帝的儿子汉元帝手上被恢复，刘贺的儿子继承了海昏侯的爵位，此后一直传承到东汉。
