他说的其实是种普遍情况，毕竟汉朝的人权还没有觉醒到恩泽奴婢的地步。但赵广汉还是出手了。其中原因：第一，于公，他痛恨依靠告密获得高官的这种风气，一直有心杀一杀，为此还给皇帝递过奏折，无奈他“人微言轻”，奏折很快“石沉大海”；第二，于己，魏相借着荣姓男子的一点小事，处处给自己找麻烦，赵广汉也是想借奴婢的事情找着丞相的小辫子，表达一下自己的不满罢了。
因此，赵广汉不傻，下属说的道理他也知道，其实他也想“点到为止“，既为恩人出一口恶气，又保全住自己。但麻烦就麻烦在赵广汉这个是个自视很高的清官。他不懂“当官难，当清官更难”，当个想要从顶头上司嘴里拔牙的清官是“难上加难”。
结果京兆尹衙门一出手，就直接传唤了魏相的夫人——在赵广汉看来，魏相久经官场，不好对付，他夫人是个妇道人家，应该更容易抓到小辫子。而且这虎牌不单传唤了丞相夫人，还传唤了相府的几十个奴仆，让他们都在院子里跪着。但他万没想到，魏相的夫人也不是一个善茬。
据绣衣卫给刘病已的汇报，魏夫人心理素质过硬，“临危不惧”，不但不肯下跪，还当庭怒斥赵广汉的无礼。女人骂街的话，刘病已也不需要详细了解，但效果是把赵广汉骂得是很下不来台，真是不怕“高干媳妇儿会打架，就怕高干媳妇儿有文化”啊，赵大人官威一发，当场就翻脸，直接就要给魏夫人上刑。
这事儿其实他干的太虎了：你不过也就是得到了一个密报而已，目前查无实据，怎好轻易动手？要知道皇帝对霍家的事儿心里早就有数，他也没对霍显刑讯逼供呢。于是底下人赶紧阻拦，赵广汉才算恨恨作罢。
魏夫人回家以后，就去跟老公哭诉，魏相听了自然是很气愤，但他只是认为赵广汉这个人脑袋有点秀逗，没往深处想。偏巧这时候萧望之刚刚被皇帝任命为司直（丞相属官、中央检察长，官秩比二千石，说起来是协助丞相监察不法官员的，实际上也起着监察丞相的作用。），来找魏相喝酒，结果经萧望之一分析，这事儿就给弄跑偏了。
说到这里，稍微介绍下汉朝的皇帝和丞相各自的秘书设置。
皇帝设“六尚”为自己的秘书，即尚衣、尚食、尚冠、尚席、尚浴与尚书。
丞相设“十三曹”为自己的秘书处，即：
一西曹，主府史署用。
二东曹，主二千石长吏迁除，并包军吏在内。可见朝廷一切官吏任免升降，都要经宰相的秘书处
三户曹，主祭祀农桑。
四奏曹，管理政府一切章奏。略如唐代的枢密院，明代的通政司
五词曹，主词讼，此属法律民事部分。
六法曹，掌邮驿科程。科程是指一切交通方面之时限及量限等
七尉曹，主卒曹转运。是管运输的，略如清代之漕运总督
八贼曹，管盗贼。
九决曹，主罪法。贼曹、决曹所管属于法律之刑事方面
十兵曹，管兵役。
十一金曹，管货币盐铁。
十二仓曹，管仓谷。
十三黄阁，主簿录众事。这是宰相府秘书处的总务主任。
萧望之是这么说的：“丞相，事情绝对没那么简单。他一个京兆尹，本就管不着这茬儿，而且怎么就那么巧出了个匿名信，还直接冲您来的？要知道‘狡兔死，走狗烹，敌国破，谋臣亡’，想当初霍家权势如何，尚禁不住‘众口铄金’，您丞相位置是很尊贵，也不见得消受得起吧？”