由於林世良已把走私巨案中得來的部分錢轉讓給了孔令侃和“孔二小姐”，孔祥熙不敢為此事直接去找蔣介石求情，只是暗中打通關節多方營救。軍法總監部礙於孔祥熙的面子，準備先准許林世良和許性初取保候審，然後再以濫用職權營私罪判處林世良十年徒刑以了結此案，並把對林世良的判決報到蔣介石處。可是誰也沒有料到，軍統局在辦理此案的過程中，那批被扣押的走私物資總價已漲到了六千萬法幣之巨。按照國民黨政府緝私條例的規定，辦走私案件的獎金數為貨物總價的十分之一。依此計算，如林世良走私的這批貨物充公的話，軍統局將得到六百萬法幣的獎金。戴笠心裡清楚，這絕對不是個小數目。但如果林世良不判死刑，那批貨物不充公，那麼軍統局想要的獎金就會落空。於是，戴笠要手下的人大打小報告，揭發林世良利用職權與不法奸商勾結大發國難財的犯罪事實。然後，戴笠讓這些揭發材料透過軍法總監部呈送給侍從室，以此來觸怒蔣介石。

也就在此時，美國總統羅斯福派出高階特使威爾斯到中國，考察瞭解國民黨接受美援後的使用情況，並轉達美國政界對國民黨政府政治腐敗、走私猖獗、貪汙成風和軍隊混亂等的憤怒和憂慮，建議蔣介石對政權實行有效改革。蔣介石送走威爾斯後不久，就看見了列舉林世良的種種不法行為的報告。本來心裡就窩著火的蔣介石，不假思索地提筆在林世良的原判決上批上了“立予槍決”四個字。戴笠透過內部關係很快拿到了蔣介石的批示，他知道要是孔家知道了肯定會全力進行營救，為此當夜就將林世良處決了。

當孔家知道了蔣介石的批示後，孔夫人宋靄齡立馬向蔣介石求情哭訴。

蔣介石是個家族觀念高於一切的人，遂改變了原先的主意，要收回“立予槍決”的手令。但此時，林家已接到了“收屍”的通知。當蔣介石明白了其間的原由後，感到自己似乎中了戴笠的圈套，不由得大怒要拿戴笠問罪。後經陳布雷等人的說情，蔣介石才放過了戴笠，但也給戴笠批了“擅權嗜殺”四個字。

孔祥熙原與戴笠之間無大惡，林世良一案後與戴笠結下了不解之仇。

在不久召開的國民黨五屆十一中全會的籌備會上，孔祥熙聯合與戴笠一直對立的陳立夫和陳果夫等人，向蔣介石提出了彈劾戴笠的提案，控告戴笠兼任緝私署長期間私斂資金，以武裝緝私為名擴充特務武裝破壞軍令統一等。蔣介石對此提案心中是有數的，他表面上似乎是為了安撫孔、陳等皇親國親戚，而以“雨濃兼職過多，精力分散”為由，撤去了戴笠的緝私署長的職務而讓孔祥熙推薦的宣鐵吾取代。其實蔣介石的真正心事是懾於戴笠手中的權力過大，如不加抑制將難於駕馭。隨著戴笠緝私署長的撤職，所有各省的緝私處長全被撤換，軍統局的人員全部遭到排斥。

當時，美國駐中國大使館對戴笠被解除緝私署長向美國國務院作了報告，報告中對解除的原因作了分析：1、對部下管教不嚴，數次發生擅自綁架和處決的行為，特別是對林世良的處理；2、軍統本身腐敗的“緝私活動”與國民黨高階官員們“腐敗利益”相沖突；3、國民黨秘密警察內部發生激烈內鬥；4、因為日本人成功的反間諜活動，使軍統在淪陷區的情報組織遭到破壞；5、蔣介石夫人宋美齡在訪問美國的過程中，得出的印象是“美國人相信的不是蔣委員長，而是戴笠”。在這五點原因中，前四點完全是表面的，而最後一點不論對蔣介石和戴笠都是至關要緊的。現在已無法確認宋美齡訪問美國時是否真的有那種印象，但事實上蔣介石在對戴笠的猜忌的同時更增加了戒備的心理。

蔣介石對戴笠的這種戒備心理很快反應在對趙理君的殺人案上。

趙理君是四川人，因在上海刺殺史量才和唐紹儀等人後無法立足而被戴笠調到重慶，並被任命為軍統局第三處行動科科長。不久，因山西的閻錫山與蔣介石不和，蔣要戴笠封鎖晉南到河南洛陽的通道，控制人員的來往。戴笠隨即任命趙理君為第一戰區少將編練專員兼洛陽專區行政督察專員，要趙理君嚴密控制從洛陽到山西的黃河渡口。趙理君是軍統的著名殺手，儘管其心狠手辣為軍統內部的許多人員所齒寒，但戴笠對其是寵愛有加。他把持黃河渡口後，經常以檢查為名敲詐勒索劫奪財物，甚至是把人打死後投進黃河裡。趙理君的手下，還多次對混雜在渡河老百姓中的中統特工人員進行劫奪，對不聽話的任意打死後也被投入黃河滅跡。中統特工人員在無奈之下把趙理君和他的手下的所作所為拍了照片，並整理成材料後向第一戰區長官部作了控訴。儘管趙理君有戴笠作為後