会魏大夫为丞相,数燕见言事;平恩侯与侍中金安上等径出入省中。时霍山领尚书,上令吏民得奏封事,不关尚书,群臣进见独往来,于是霍氏甚恶之。上颇闻霍氏毒杀许后而未察,乃徙光女婿度辽将军、未央卫尉、平陵侯范明友为光禄勋,出次婿诸吏、中郎将、羽林监任胜为安定太守。数月,复出光姊婿给事中、光禄大夫张朔为蜀郡太守,群孙婿中郎将王汉为武威太守。顷之,复徙光长女婿长乐卫尉邓广汉为少府。戊戌,更以张安世为卫将军,两宫卫尉、城门、北军兵属焉。以霍禹为大司马,冠小冠,亡印绶;罢其屯兵官属,特使禹官名与光俱大司马者。又收范明友度辽将军印绶,但为光禄勋;及光中女婿赵平为散骑、骑都尉、光禄大夫,将屯兵,又收平骑都尉印绶。诸领胡、越骑、羽林及两宫卫将屯兵,悉易以所亲信许、史子弟代之。