霍光已是打定主意，只想着回府后与夫人解释，谁知他方回府，便见着府上拜访之人离去。以霍光的地位府上有人前来说情求官，也不足为奇，这些人霍光疲于应付，便都交于夫人霍显打点，进进出出的，虽觉这几日人稍多，却也不曾过问。
霍显见霍光回府自是笑脸相迎，不难看出，这几日，霍显的心情倒是不错，“老爷今日为何事高兴，可是陛下松了口？”如今，他们最关心的莫过于后位落于谁身上，若这后位人选只是旁人倒也罢了，可还有自己的小女儿就是另当别论了，霍显眼中，再大的事情也大不过此事。
“我正为此事与你商量。”霍光脱去朝服，换上便服，捋了捋美髯才道：“我思虑再三，不若使成君入王侯门第更为妥当。”除了那皇宫，任何一家，有霍光在，任何人都不敢亏待了霍成君。
“何人有此本事，竟让老爷改了主意！”霍显一改笑颜，一脸怒气，语中竟有几分质问之意，她一心望女成凤，本以为昭帝娶了上官幽朦，自己的女儿已无机会，谁知昭帝离世，来了个刘病已，富贵即在眼前，这样的机会，又岂能错过。只可惜，霍显忘了，霍光已然位极人臣，又能再如何富贵呢？
幸而，霍光理智尚存，“幽朦言陛下与许氏恩爱，又是患难夫妻，成君即便入宫为后，也未必能得帝心，又何苦委屈了女儿，又逆了帝王心？”在自己身边十四年的女儿，又深得自己之心，霍光怎么忍心使她至宫中受尽冷落。
“莫不是上官幽朦怕成君抢了她的风头，才如此说。”霍显自是不信，她眼中，霍成君生得婀娜多姿，又通诗书礼仪，乃是他们夫妻最爱之女，岂会得不到圣心，加之上官幽朦与自己并无血缘，自是将猜忌引向上官幽朦。
此时，霍光只觉夏侯胜之语更神，也庆幸自己听取了他的意见。其实，霍光若非与刘病已对着干，胜算不小，只是听夏侯胜几句话，他也想通了：自己已位极人臣，不论女儿嫁与谁，也与富贵权势无关，而霍成君一旦入宫，一来自古后宫残酷，如今霍成君不必担心后宫之争，自己在无人敢动手，但难保日后会如何，况因立后之事得罪了刘病已，霍成君在宫中的日子未必好过，让掌上明珠看人脸色过日子，霍光自是不愿；二来，霍成君若为后，定会与上官幽朦一派的外戚有所利益之争，届时，不成了霍家人打霍家人，这是霍光不愿看到的，一个家族的瓦解，大多是从内部开始的，而上官幽朦年纪尚轻，稳坐太皇太后之位年数尚久，也确实没有太大必要非让女儿进宫稳固霍家地位。
“幽朦岂是如此之人，此乃我的决定，我意已定，你且收了心。”霍光甚少对霍显如此严肃，这也说明，他是真的已经下定决心。
霍显自知多说无益，便也不再相劝，只不过让她就此收手却是不易。这不，第二天，朝堂之上，皆是一片请陛下立自家小女儿为后之声，害得霍光头疼该如何下台，谁知在此时，张安世竟也跑来添乱。
张安世至霍府，一见霍光便是拱手认错，害得霍光也是一头雾水，忙道，“好端端的，这是作何？”张安世与霍光也是一同从武帝时期走来之人，张安世为人忠厚，为官清廉，霍光与其多年情分，现下这么一出，倒真让霍光不知唱的哪出。
“大司马大将军，我兄长不知事，竟去做这等媒，我兄弟非有意与大将军您作对，还请大将军与夫人海涵！”
“子儒，此话何意，究竟做了哪家媒人，让你如此不安？”
张安世看了看一脸写着不解的霍光，便将来龙去脉交代了一番，“陛下与许捷妤的婚事当年乃我兄长张贺牵的线，霍夫人不知何处得来的消息，让我兄弟给个说法，并想法如何弥补，这等事，当年我也与兄长言，不宜多管，奈何兄长竟擅自促成了这桩婚事……”其实，是霍显从哪位夫人口中得来的消息，以为张氏兄弟两面三刀，一面与霍府交好，一面有私下与许家串通一气，一气之下，便亲至张府，兴师问罪，张安世询问张贺后，知却有此事，吓得忙来赔罪。
霍光闻言，却是笑着摆摆手，“实不相瞒，我已无意使小女入宫，且当年又如何料得到如今，此事与你兄弟无关，我也不会因此累及你兄弟，子儒，尽可安心。”霍光言毕，见张安世还是战战兢兢之模样，便命人叫来霍显。
霍显见到张安世之时，满脸写着不平二字，霍光见此，甚为不满，“张贺与许家之事，你不得再提，成君不会入宫为后，你也不必再为此事造势，若是想我霍府从这大汉朝消失，便由着你来！”朝堂之上，那一片呼声与陛下的脸色形成鲜明对比，霍光正心烦，哪知霍显又闹了这么一出。张安世与自己好歹多年兄弟，她竟将人逼至如此，霍光自知，若再不严声阻止，只怕此事越闹越大，到时，只怕想撤火也撤不了了。