回國處理家事，在總理衙門已經電令不準簽字的情況下，居然回電說該條約已經締結，並於1879年10月2日擅自在條約上簽字，隨後又未經奉旨就擅自回國。

條約送回國內後，輿論大譁，國人皆曰崇厚可殺。清政府也覺得此約“流弊甚大”，拒絕批准，並將崇厚革職拿問，要處以死刑。正好當時左宗棠剛剛平定新疆阿古柏之亂，大臣們紛紛主張對沙俄採取強硬措施。

沙俄聽到清政府拒絕批准條約的訊息後，在我國東北和西北邊境集結了大量兵力，並派遣艦隊在中國海面示威，以發動戰爭相威脅，進行外交恫嚇，妄圖逼迫中國就範。

當時出使英國的郭嵩燾已經回國，他上書朝廷指出：現在的麻煩，是崇厚在懵然無知的情況下，已經簽訂了條約，如果我朝先允後翻，可能會引發更大的衝突。對於朝中主戰的意見，郭嵩燾認為不到非不得已，不應輕言開戰。沙俄不是阿古柏，一旦戰事爆發，費財費力，曠日持久，恐難預料。何況，以目前大清帝國的實力，未必能和沙俄抗衡，一旦戰敗，恐怕要喪失更多的領土，到不如先用外交手段，酌情而定。

歷史證明，郭嵩燾的意見是明智的，十多年後，大清帝國連日本都搞不過，如果此時真和老毛子乾的話，結果會怎麼樣，還真不好說。後來清廷便在郭嵩燾的建議下，改派當時已經出使英法的曾紀澤前往俄國，負責伊犁改約談判事宜。

曾紀澤，字劼剛，曾國藩的長子，世襲一等候，少負俊才，在京城常與在華西方傳教士和外交官交遊，喜好洋務，是晚清相當出色的外交官。1878年，曾紀澤派充出使英國及法國大臣，在英辦理訂造船炮事宜（為北洋艦隊訂造“致遠”和“靖遠”兩艦）。受命後，曾紀澤又兼任了出使俄國大臣，前往聖彼得堡談判改訂條約。

出發前，曾紀澤認為，“伊犁一案，大端有三：曰分界，曰通商，曰償款。籌辦之法，亦有三：曰戰，曰守，曰和。”按照西洋定約之例，分界是常守不渝的，而通商則可以隨時修改，再者，俄國人聲稱自己是“代守伊犁”，因此，曾紀澤定下的戰略是，在邊界問題上寸步不讓，在貿易問題上討價還價，在賠款問題上可以商量。

曾紀澤到達俄國的時候，俄國已經派遣使臣布策前來催促條約簽字。曾紀澤得知後便要求俄國外交部令布策折回，對伊犁問題重新談判。在曾紀澤的堅持下，俄國代理外部大臣吉爾斯、副大臣熱梅尼和布策參與了談判。

俄國代理外部大臣吉爾斯見了曾紀澤後，雖然開始覺得有點心虛，但又不想喪失詐騙而來的成果，便拿出一副強硬的態度，說：“你們的全權大臣既然簽約了，就沒什麼好商量了。”

曾紀澤針鋒相對：“崇厚所答應的，大都超過了朝旨的授權，不能不加以更改。”

俄國人說：“你們朝廷要將使臣定罪處死，廢除已經談判好的條約，這樣做有悖國際公法，你們中國人不講道理，我們沒法和你們再談判。”

曾紀澤說：“中國的使臣違背朝旨，定失職之罪，和外國沒什麼關係，你們無權干涉。何況，現在考慮到貴國的顏面，已經將崇厚釋放了。”

俄國人沒話可說，便轉移話題，說：“你們中國現在正在備兵備戰，明擺著想破壞和平。”

曾紀澤說：“我們備兵並非是因為你們而起，主要的防衛邊疆亂黨餘孽，並無不可。”

俄國人說：“既然你們已經備戰，那我們也要派兵備戰，這是你們所挑起的，你們要承擔全部責任。”

曾紀澤說：“你們要這樣說的話，我們也可以反過來說你們想破壞和平。兩國要想和睦相處的話，本就不應該提備戰之事。”

俄國人立刻覺得自己失言，便悻悻然的說曾紀澤不是“全權大臣”，不夠談判的資格。

曾紀澤說，“我現在是大清帝國委派的駐俄大使，完全有議約之權。”（曾紀澤當時是兼任出使英、法、俄三國大臣，相當於駐三國的大使，當時大清帝國外交人才匱乏，駐外大使往往是兼任）

俄國人見曾紀澤不好對付，只好答應重新談判。

為了給談判增加籌碼，清政府派左宗棠親率大軍離開肅州（今酒泉市），出嘉峪關，向哈密挺進。為了表明收復伊犁的決心，老帥左宗棠出征前命人備好棺木，“抬棺出征”，以鼓舞士氣。左宗棠大軍到達新疆哈密後，準備佈署三路進兵收復伊犁：一路由金順進駐精河從正面佯攻；一路由張曜從阿克蘇越過天山進擊伊犁南部；一路由劉錦棠經烏什越冰嶺直赴伊犁西面的後路。（孫佔元：《左宗棠