亲外甥霍去病是卫子夫姐姐的儿子,是卫子夫的亲外甥,原本霍去病是一个私生子,不被亲生父亲认可,但是自从姨妈卫子夫得到宠幸之后,卫家的地位一下子就上升了很多,霍去病也成为长安街上赫赫有名的贵族少年.霍去病一出生就不被父亲认可,直到姨妈卫子夫入宫,受到汉武帝刘彻的宠爱后,因此霍去病在家里的地位才得到了提高,关于他是私生子的事情也不再有人提起。
霍去病从小就很聪明、懂事,因为姨妈卫子夫的关系,霍去病在很小的时候就入宫了,和皇宫的皇子们一起学习。霍去病只要有时间,就会去看望卫子夫,时间久了霍去病也得到了汉武帝的注意。