放在眼中，對他非常冷淡。而郭嵩燾本就文人氣十足，再加上自己是皇帝親派，並且明確他與僧格林沁是“平行”，不是“隨同效用”，所以也咽不下這口氣，因此兩人合作極不愉快。1860年元月，郭嵩燾被迫離開山東返京，悲嘆“虛費兩月搜討之功”，“忍苦耐勞，盡成一夢”。

回京後，他受到“降二級呼叫”的處分，雖仍回南書房，但實際已是閒人，被冷落一旁。他在給曾國藩的信中報怨說：“久與諸貴人周旋，語言進退，動輒生咎。”

素有識人之明的曾國藩早在嶽麓書院讀書時就指出郭嵩燾識見過人，但書生習氣過重，能著書立說，更是出主意的“高參”，卻不堪官場的“繁劇”。曾國藩在評價肅順屢興大獄、以嚴刑峻法整頓吏治時說得很清楚：“國家致弊之由，在以例文相塗飾，而事皆內潰；非寬之失，顢頇之失也。”“今一切以為寬而以嚴治之，究所舉發者，仍然例文之塗飾也，於所事之利病原委與所以救弊者未嘗講也。是以詔獄日繁而錮弊滋甚。”“曏者之寬與今日之嚴，其為顢頇一也。顢頇而寬猶足養和平以為維繫人心之本，顢頇而出之以嚴，而弊不可勝言矣。”“故某以為省繁刑而崇實政為今日之急務”。也就是說，根本原因在於“一切以為寬”，即吏制本身存在巨大缺漏，使各級官吏有機可乘，時時面對巨大的利益誘惑；而“曏者之寬”，即吏治早已廢弛鬆懈，在這種環境中能長期抵擋巨大利益誘惑、潔身自好者畢竟不多，因此造成了“無官不貪”的局面。在這種情況下，突然使用重典嚴懲，打擊的貪官汙吏再多其實也只是少數，反使各級官員人人自危，這不僅不能從根本上解決問題，而且“錮弊滋甚”，很可能禍及自身。解決問題的根本之途在於“崇實政”，即對制度本身進行改革，這樣才能既“省繁刑”，又使政治清明，國家穩定（放到後世用現代的語言來講，就是說政府面對的是自身的“系統性腐敗”。所謂系統性腐敗是指只有以腐敗作為