處，歷任黃門侍郎、議郎、丞相東曹屬、丞相主薄等職。司馬懿在曹操手下任職，小心謹慎，勤勤懇懇，“至於芻牧之間，悉皆臨履”。建安二十年（215年），曹操征討張魯，司馬懿隨軍。他對曹操說：“劉備以詐力虜劉璋，蜀人未附而遠爭江陵，此機不可失也。今若曜威漢中，益州震動，進兵臨之，勢必瓦解。因此之勢，易為功力。聖人不能違時，亦不失時矣。”曹操說：“人苦無足，既得隴右，復欲得蜀”！沒有采納他的建議。

龐統道：“如此說來，司馬懿此人絕非泛泛之輩，雖是如此統還是認為以司馬懿現在的官職想要控制曹營，也絕非易事！”

張浪驚道：“奉孝，對司馬懿的分析還是很透徹的嘛！司馬懿此人絕非泛泛之輩”張浪之所以會幫郭嘉說是因為他想到一些更可怕的事，他記得“在建安二十四年（219），當孫權向曹操上表稱臣、慫恿曹操自立為帝。曹操說：“此兒欲踞吾著爐炭上邪！”司馬懿說：“漢運垂終，殿下十分天下而有其九，以服事之。權之稱臣，天人之意也。虞、夏、殷、周不以謙讓者，畏天知命也”。當時曹操手下的門閥官僚擁漢者尚多，為曹操所深忌，而荀彧、崔琰等著名人物都因對曹氏代漢有異議而不得善終。大概司馬懿在這個關鍵問題上早就表示支援曹操，因此曹操才對他由猜忌逐漸轉為信任。

曹操進封魏王后，升任司馬懿為太子中庶子，佐助曹丕。時司馬懿“每與大謀，輒有奇策”，為曹丕所信任和重用，所以關係一直很好。司馬懿還與陳群、吳質、朱鑠並稱四友。此後，司馬懿更是常謀國事，多出奇策。不久，司馬懿轉為丞相軍司馬。他指出荊州刺史胡修粗暴，南鄉（治南鄉，今河南淅川東南）太守傅方驕奢，都不應駐守邊防，曹操未予重視。

同年六月，劉備繼取漢中後，派孟達、劉封攻佔漢中郡東部的房陵、上庸等地，勢力有所擴充套件。七月，孫權欲攻合肥，魏軍大部調動淮南防備吳軍。鎮守荊州的蜀前將軍關羽，乘此機會，留南郡（治江陵，今湖北江陵）太守糜芳守江陵，將軍傅士仁守公安（今湖北公安西北），自率主力北攻荊襄（魏荊州治新野，今河南新野；襄陽郡治襄陽，今湖北襄樊）。圍魏將曹仁，水淹于禁七軍，斬龐德。時樊城守軍僅數千人，城牆因水淹多處崩塌，曹仁曾考慮放棄樊城，被輔助曹仁的汝南太守滿寵所勸止。曹仁決心奮勇抵禦。胡、傅二人果然乘機降蜀。此時，陸渾（今河南嵩縣東北）人孫狼等，亦殺官起兵，響應關羽。關羽聲勢一時“威震華夏”

當時都城在許昌，距樊城很近，曹操感到威脅，為避關羽鋒芒，一度準備遷都河北。司馬懿和曹椽蔣濟及時勸阻：“禁等為水所沒，非戰守之所失，於國家大計未有所損，而便遷都，既示敵以弱，又淮沔之人大不安矣。孫權、劉備，外親內疏，羽之得意，權所不願也。可喻權所，令掎其後，則樊圍自解”。曹操從其計，孫權果然派呂蒙襲取江陵，關羽被其俘殺。

此戰的勝利，曹操利用孫、劉爭奪荊州的矛盾，充分運用外交謀略，坐收漁利，不僅挫敗關羽的強大攻勢，解除了樊城之圍，而且也使諸葛亮原定的一路向宛洛、一路出秦川的兩面鉗擊中原的計劃無法實現。更重要的是破壞孫、劉聯盟，改變了當時的戰略格局，掌握了主動權。

徐晃擊退關羽後，曹操嫌惡荊州及附近百姓，想把他們都遷走。司馬懿認為：“荊楚輕脫，易動難安。關羽新破，諸為惡者藏竄觀望。今徙其善者，既傷其意，將令去者不敢復還”。曹操從之，沒有移民。藏竄逃亡者果然都復出歸化。

延康元年（220年），曹操去世，朝野危懼，司馬懿管理喪葬諸事，內外肅然。

同年，曹丕即魏王位，司馬懿受封河津亭侯，轉丞相長史。

時孫權率軍向西。朝臣認為樊城、襄陽缺乏糧，不能抵禦吳軍，請召守將曹仁回駐宛城。司馬懿則認為不該放棄二城：“孫權新破關羽，此其欲自結之時也，必不敢為患。襄陽水陸之衝，禦寇要害，不可棄也”。曹丕未依其言，命曹仁放火燒燬二城。後來孫權果然沒有入侵。曹丕悔之不及。

同年，曹丕登皇帝位，史稱魏文帝。由於司馬懿為曹丕“篡漢”出了大力，所以登基後，曹丕任命司馬懿為尚書，不久轉督軍、御史中丞，封安國鄉侯。

黃初二年（221年），免去督軍官職，升任侍中、尚書右僕射。

黃初三年（222年），和黃初五年（224年），曹丕兩次伐吳，都以司馬懿鎮守許昌，並改封司馬懿為向鄉侯。黃初六年（225年）春二月，轉任撫軍大將軍