但總理衙門剛將此書刊行，立即引來朝野頑固守舊者一浪高過一浪的口誅筆伐，一時間群情洶洶，言官彈劾他的奏章多如雪片，很多人上奏要求將郭嵩燾撤職調回，只是由於找不到合適人選，清廷未能將他召回，但下令將此書毀版，禁其流傳。

在駐英大使內，郭嵩燾還面臨著與自己的副手劉錫鴻愈演愈烈的“窩裡鬥”。劉錫鴻得到清政府中保守派大員“北清流”領袖李鴻藻的支援，暗中監視郭嵩燾的一舉一動，不斷向清政府打郭嵩燾的“小報告”，列出種種“罪狀”。其中最為嚴重的罪狀是說郭嵩燾向英國人詆譭中國朝政，向英國人妥協等等。對劉錫鴻的陷害，郭嵩燾當然備感憤怒，竭力為自己辯誣。二人的關係勢同水火，滿城風雨，無法調和。在郭、劉二人“內耗”日甚一日的情況下，清政府於1878年8月下令將二人同時調回。本來清廷還擬將郭嵩燾查辦治罪，後在李鴻章、曾紀澤等人的反對下才不了了之。

1879年1月末，郭嵩燾離開倫敦，啟程回國。到達上海後，他心力交瘁，請假歸鄉。5月回到故鄉長沙時，等待他的卻是全城貼遍揭貼，指責他“勾通洋人”。不久，朝廷便詔允其退休。就這樣，郭嵩燾在一片辱罵聲中離開了政治舞臺。以後他仍時時深憂國事，常向友人傾談自己對社會、政治的種種看法，一些開明之士對其學識也盛讚不已，對其不為朝廷所用深為惋惜，但終不再被朝廷起用。1891年7月18日，郭嵩燾在孤寂中病逝。他去世後，李鴻章曾上奏請宣付國史館為郭嵩燾立傳，並請賜諡號，但未獲朝廷旨準。清廷上諭再次強調：“郭嵩燾出使外洋，所著書籍，頗滋物議，所請著不準行。”

郭嵩燾的悲劇當然有他個人的原因，如書生氣過重，不知通權達變，不諳官場規矩，生性耿直卻屢因耿直招禍，才華橫溢識見過人卻不免持才傲物……但這更是時代、社會的悲劇。倘先驅者不為時容，屢遭打擊迫害，受害更深、更遠的，恰是那個時代、社會自身！

那麼，要用什麼樣的辦法，來改變郭嵩燾的命運呢？

而現在，因為自己的關係，郭嵩燾提前了幾個月出現在了北京城，並且被任命為自己的副手，協助自己和日本人進行談判。

今天，在這第一輪和日本人的談判結束之後，郭嵩燾便主動要去林義哲那裡借書看，順便商討下一步如何對付日本人。

“中國書生狃於不勤遠略，海外事勢夷情，平日置之不講，故一旦海舶猝來，則驚若鬼神，畏若雷霆。必得加以改變才是。能夠知彼虛實，然後徐籌制夷之策，是誠喋血飲恨，冀雪中國之恥，重邊海之防，免胥淪於鬼蜮也。”郭嵩燾道，“而今庚申之役已然過去多年，舊恥似已忘卻，此次日本侵臺，先是畏敵如虎，一夕數驚，聞得海陸得勝，便又淆於群哄，輕言征伐。而今日人前來求和，你瞧著吧，還不知會冒出什麼風兒來呢。”

“我倒要看看，他們還能說些什麼？”

林義哲知道郭嵩燾是在提醒自己小心言官的彈劾，但他想到自己已經給這幫傢伙挖下的大坑，心中不由得竊笑不已。

“老夫自從看了鯤宇所輯的那《外國師船圖表》，便一發不可收拾了，呵呵。”郭嵩燾不想讓林義哲心中憂慮攪了今天的好心情，便換了話題，和他聊起了西學來。

“鯤宇可知，當年我初讀《海國圖志》，如獲至寶，那書初到我手中，本是剛出的刻本，整齊簇新，哪知經我這一讀，翻來翻去，折角打記，把書看成了一把醃菜，去還書給人家的時候，紅著臉賠了一百二十個小心，後來請人家去了前門廣和居小酌了一番，才算了事。”郭嵩燾講起往事來，笑道，“這一次借了鯤宇的書，斷然不會如此了。”

“郭公客氣了，呵呵，那書是我自己刊印的，舍下還有多部，預備分送當路諸公，郭公手中那一本，便送於郭公好了。”林義哲笑道。

“那我便不客氣了，呵呵！”郭嵩燾聽到林義哲贈書於他，顯得十分高興。

“等到這次和談之事了結，我請郭公上艦一觀，郭公對這西洋船學炮說，當更有所得。”林義哲說道，“我今日便奏明皇上，將船政水師三艦調給北洋，充實津沽防務，不日便可來沽，屆時若是公務不忙，便請郭公往觀。”

聽到林義哲要調動軍艦來天津，郭嵩燾明白林義哲的用意是要震懾日本人，不由得微笑起來。

“看樣子，鯤宇是真的要狠狠的從日本人身上敲上一筆了。”郭嵩燾想起今天和日本人談判的情形，不由得又有些擔心，“鯤宇確有把握，日本人肯向咱們吐錢出來？”