聯合參謀部成員、駐中國大使，國務卿和國防部長等職，馬歇爾對美國在第二次世界大戰中的戰略以及戰後成略的形成和貫徹執行，有著重大影響。

馬歇爾上任後的第一件事：就是整頓軍官隊伍。他接連破格提升了４０００多名年輕軍官。後來馳名於世的艾森豪威爾、布萊德雷、巴頓、克拉克等，都是由馬歇爾，一手提拔到關鍵性崗位上來的。後來他們都成了在第二次世界大戰中獨擋一面，戰功卓著的指揮官。同時，他還採取堅決步驟清除陸軍中不合格的軍官。馬歇爾最瞧不起那些為個人名利，四處鑽營，謀求升遷的人。曾有一個人去拜訪馬歇爾，本來馬歇爾已為他安排了一個不錯的職位，但此人一進門，就大講自己應被提拔的種種理由，馬歇爾勃然大怒，對此人的任命自然也告吹了。

馬歇爾這位年輕的參謀長對總統羅斯福、陸軍部長史汀生和國會成員們都很敬重，但在原則問題上又從不讓步。馬歇爾深得羅斯福總統的信任，對軍事戰略負有重要責任，有關此類問題，可以直接向總統報告。即使有時與總統的意見不同，他也非常直率地表達自己的見解，他在任參謀長期間，曾多次與國會成員有不同意見，他每次都不輕易讓步，經過爭辯，大多數是以馬歇爾的“勝利”而告終。他直率、誠實的態度贏得了國會議員們的信任。

馬歇爾欣賞能夠並願意做出決定的人，他把自己的很多工作交給他們去做。他常說，他可以給一千個人安排具體工作，但其中絕大部分人不能放在負責崗位上，因為他們都必須讓他做出每一個決定。他堅持主張，他的主要助手應在其職責範圍內，按照自己得出的結論去思考和行動。１９４０年的某一天，馬歇爾對陸軍參謀長助理布萊德雷和他的助手們說：“先生們，我對你們很失望，至今為止，你們對我做出的決定沒有一個不同意的。”布萊德雷回答道：“將軍，那是因為還沒有不同意的理由，當我們不同意你的決定時，閣下，我們會告訴你的。”馬歇爾嚴厲指責那些對上級報喜不報憂的軍官，極端厭惡唯唯諾諾的人，他經常告誡下屬，不要因為頂頭上司在場而產生顧慮，要大膽地發表自己的看法。

馬歇爾在第二次世界大戰中的最大貢獻，是提出了對反法西斯陣線有利，特別是對英、美兩國有利的戰略思想，即“首先打敗德國”的戰略。這一戰略，是馬歇爾於１９４０年寫給總統的一份報告中提出來的，後來在阿卡迪亞會議上得到了美、英兩國政府的承認，成為美、英兩國進行第二次世界大戰的共同戰略。因為在馬歇爾看來，德國比日本的軍事力量更強大，而且德國已經控制了西歐並威脅著大西洋和拉美，英國已經同德國交戰，美國向歐洲戰場提供援助，既符合美國利益，也可能會更容易、更快些。這就充分顯示了馬歇爾的戰略頭腦，

在作戰指導方面，馬歇爾幾乎籌劃指揮了第二次世界大戰中美軍在歐洲、太平洋兩個戰場的所有行動，成為羅斯福和杜魯門兩位總統的主要軍事顧問。

開始，他把主要注意力放在太平洋戰場。珍珠港事件之前兩個星期，他就預告，美、日外交關係惡化，來自日本的戰爭威脅已經明確，但他沒有對駐夏威夷陸軍司令肖特中將為應付突然事變而採取的措施做進一步的研究和指示。珍珠港事件之後，他為此受到了人們的批評。事件發生後，他曾對恢復美軍士氣作出了很大的努力。

美國對德宣戰後，在美軍如何行動問題上，馬歇爾一直主張橫渡英吉利海峽與德國直接交戰。他認為，這一行動可以迅速地在歐洲開闢第二戰場，使俄國不至於被德國擊敗，而能繼續參加戰爭。英國人則主張搞邊緣戰略，強調進攻軸心國的“軟腹部”——地中海，反對與德國人正面對抗。馬歇爾為使英國贊同自己的主張，首先促成美英兩國首腦在華盛頓會晤，達成基本一致。此後當作戰方案在英軍參謀總部出現分歧時，他又飛抵倫敦，與英方進行了毫不讓步的辯論，直到１９４３年１１月，英方同意為止。

第二次世界大戰期間，不僅美國總統羅斯福倚重馬歇爾，英國首相丘吉爾，蘇聯最高統帥斯大林等也都認為他是一個軍事天才。在德黑蘭會議上，斯大林建議任命馬歇爾擔任歐洲聯軍總司令，並兩次要羅斯福作出決定；丘吉爾在與羅斯福的一次通訊中，表示同意把英軍交給馬歇爾指揮；艾森豪威爾在擔任歐洲總司令之前，也一直認為這個位置是屬於馬歇爾的。１９４４年，馬歇爾獲得相當於其他國家元帥的五星上將軍銜。

第二次世界大戰結束不久，馬歇爾便被杜魯門總統派往中國，擔任駐華特使，參與國共談判。１９４７—１９４９年