起初，蔣介石還能聽進孫中山的勸告，但他對陳炯明的不滿還是有增無減。陳炯明未採納蔣介石的意見，結果沒有全部消滅桂系軍閥。蔣介石憤怒之下，拂袖而去，前往上海。

他打電話給孫中山，解釋他離職的原因，但此時孫中山已無心思聽蔣的抱怨了。在他看來，陳炯明已實現了他的目的，即將桂系軍閥趕出廣東，桂系軍閥尚有殘餘留存，但卻無妨大局，孫中山決定返回廣州，重建軍政府。孫中山要求蔣回廣州，履行自己的職責。蔣一氣之下，回到老家溪口探家去了。

即使蔣長期不在職，孫中山仍十分信任他。1920年11月底，蔣終於返回廣州，發現給他的職位是重建的軍政府內政部部長，而這並不合他的胃口。

另一方面陳炯明已開始建立自己的勢力，他的職務頭銜甚至超過了孫中山：陸軍部長、廣東都督、粵軍總司令、兩廣最高檢察長。

1921年1月12日，在廣州召開國會議員大會，進行投票選舉。儘管代表不足法定人數，孫中山作為“革命之父”已數次成為正義力量的領袖。這一次，孫中山希望透過法律程式成為當然的領袖。4月，國會議員選舉孫中山為全國非常大總統。5月5日，孫正式宣誓就職。

儘管許多傳記渲染孫中山和蔣介石的親密關係，但有一點很明顯，孫中山從來就未認真考慮蔣介石的建議，也未將他當作自己的知心朋友。蔣介石再三勸告孫中山不要搞這個選舉，因為這種選舉未達法定人數，缺少法律效力；而且一旦南方聯合瓦解，不再效忠政府，這種選舉便毫無意義。蔣介石爭論說，任何不同意見都應被考慮。

蔣介石最後這次負氣離職，時間近三個月。他不斷受到各個方面的壓力，要求他回廣州。為孫中山效勞。他最後竟失去耐心，將國民黨的說客給打發走了。1921年1月5日，蔣就他的行為寫信表示道歉：“我脾氣暴躁，行為魯莽，……事後反省，深感慚愧，意識到自己太可笑了。”

孫表示原諒他的行為，但也說：

“我兄——你過於固執己見，實為不可救藥。任何小事於你不滿，你都火冒三丈。”

蔣介石自己回憶說，在讀了來訪者帶來的信後，他感動得幾乎流淚，他決定返回廣州。

陳炯明在擊敗他的對手桂系軍閥後，手下已有幾個師組成的龐大隊伍，這時，他準備在中國南方建立自己的封建割據勢力。因此，他對孫中山的繼續西伐桂系的命令拖延不理，更不用說蔣介行的任何建議了。

1921年2月在在廣州，蔣介石已察覺出陳炯明的野心，但孫中山還不相信。

蔣之所以仍然回到廣州，一方面是由於孫中山再三催促，另一方面是他一直渴望有機會徹底剷除廣西的殘餘桂軍。此時，這位內政部長最愁的是缺乏經費，因此暫時還顧不上向陳炯明挑戰。蔣介石認為，徵收關稅是籌集資金的最佳辦法，但問題是在北京的外國使館和公館不承認廣東軍政府，拒絕與之合作，而陳炯明也支援外國使館的態度。正是這個原因，促使孫中山進行選舉，以當選非常大總統。因為這樣一來，就使得他和北洋政府的首腦一樣，具有平等的法律地位。

1921年5月，蔣介石寫信給孫中山，表示完全反對這個選舉計劃。他認為：廣西的軍閥還未徹底清除，西南部也還未得到控制，此刻沒有時間進行選舉。更何況，選舉因議員不夠法定人數而缺乏法律依據，他寫到：“在平息廣西的叛亂後，我們可望繼續向東北進軍、直搗敵人的心臟”。他還充滿信心的寫道：“統一全中國並非一個非常艱苦的任務”。在信的最後，他再次提醒孫中山不要輕信陳炯明。

孫中山並未重視蔣介石的這封信。蔣介石沒有參加廣西戰役，6月14日他母親去世，他立即趕了回去，一直呆到11月他母親安葬完畢。這期間，他除了幾次返回廣東外，大部分時間都在溪口，孫中山未出席葬禮，但他為蔣太夫人寫了一篇感人的悼文，並在葬禮上由人代讀。

正如蔣所判斷的那樣，陳炯明開始背叛革命。1922年3月21日，粵軍高階軍官、蔣介石的朋友鄧鏗被暗殺。陳炯明涉嫌很深，但沒有確鑿的證據可以指控他。陳炯明有很大的可能暗殺鄧鏗，因為鄧鏗非常忠心於孫中山。陳炯明計劃排擠或除掉孫中山周圍的高階軍官，使其孤立無援；然後他再逼迫孫中山推遲甚至放棄北伐計劃。

蔣介石強烈要求孫中山將他的部隊秘密開進廣州，重建其大元帥的權威，然後清除廣西殘餘桂軍，最後出征北伐。

4月，孫中山的部隊開到廣