青的權勢日漸消退，而霍去病卻日益尊貴。大將軍衛青的舊部，一些老友、門客中很多人見風使舵，前往投靠霍去病，這樣可以弄個一官半職。只有任安一個人傲骨立世，不趨炎附勢，仍出入衛青門下。

霍去病為人穩重沉著，不多說話，但果敢而隨心所欲。漢武帝曾對他說：“做一個將軍應該學習古代兵法。”勸他學習孫子和吳起用兵策略。霍去病不以為然地說：“作戰只在隨時的謀略考慮，不應該受古代兵法的約束。”他就是不學過去的兵法。但每次戰鬥，他都能根據戰場的情況，運用自己的判斷力，從實際情況出發，因而每戰必勝。

霍去病從小富貴，不知道民間和社會底層的苦痛，所以他對於部屬並不體恤，完全是一個紈絝子弟的作風。大軍出戰時，霍去病把軍中精壯全部挑到自己手下。漢武帝為了顯示對他的寵愛，支援他這樣做，而且派出宮廷膳食官率領廚房車數十輛，跟隨出征，供應霍去病酒食。每次班師回朝時，他的隨軍廚房車隊中還剩下不少的糧食和肉類以及美酒。而士兵們有時卻因軍糧接濟不上而忍飢挨餓。

在塞外行軍時，糧草補給不易，大軍經常斷糧，霍去病並不體恤部下。士卒疲憊不堪，又累又餓，走都走不動了。霍去病卻下令興建臨時球場，供他踢球玩樂。

衛青卻與他相反，為人仁慈，遇事謙讓，一團和氣，以博取漢武帝的好感。有一次，他新立戰功，漢武帝賞賜