不及待的親自登場，與恭親王展開了兩個回合的激烈論戰。

倭仁是著名的理學家，在當時計程車大夫當中享有崇高的威望。同治初年，倭仁與李棠階、吳廷棟合稱“海內三大賢”，同文館之爭發生時，李棠階已經去世，吳廷棟已經告老還鄉，倭仁身為帝師，獨立京城，身份地位也就更顯尊崇。3月20日，倭仁上奏，直言反對科舉出身計程車子師從“夷人”，認為這樣會“動搖國本”，終至“變夏於夷”，****輝煌的文化道統會被粗陋的蠻夷之學所取代，有“亡國之虞”！

這一次，朝廷便不能像對待張盛藻那樣，對倭仁斥退了事。因為倭仁的影響力不可忽視，上奏當天，兩宮皇太后就立即召見了倭仁，但這次談話相當的不愉快，沒有能夠達成共識。因為倭仁提出來的這個“夷夏之變”的題目實在太大。隨後，問題被拋給恭親王和總理衙門。

總理衙門對倭仁的這次進攻顯然4月6日，總理衙門拿出了一個極長的奏摺，重申了開設天文算學館的重要性以及招收科甲士子進天文算學館入學的必要性。奏摺裡最關鍵的技術處理，是對倭仁一再強調的“變夏於夷”避而不談，而是大談特談危機之深和“自強”的緊迫。為了給倭仁造成壓力，同時還附上了曾國藩、左宗棠、李鴻章等一大批洋務大臣的奏稿信件。最後，恭親王還將了倭仁一軍：該大學士既然認為我們此舉不可行，會亡國，想來肯定別有強國良策。如果該大學士確實另有良策，可以壓制外國而使本國不受欺侮，則臣等自當追隨該大學士，竭力效勞，悉心商辦。如果沒有其他良策，僅僅大談特談忠義、禮儀，認為這些可以制服洋人，臣等實在不敢相信。

4月12日，倭仁再次上奏，不但堅持己見，而且反將了恭親王等人一軍。倭仁說：“具體到讓夷人來教授算術這件事情，如果該王大臣確實有把握，認為必能將算術學精通，必能將精巧的機器造出來，中國的正經讀書人必不至於被夷人所利用；夷人醜類必能被中國所殲滅，則上報君王，下伸民憤，豈不善哉！若做不到這些，卻先喪失了人心道德，那就不如不開設天文算術館。”

倭仁這一擠兌確實觸到了恭親王的軟肋。4月23日，恭親王上奏承認自己不能做上述保證。恭親王說：“像倭仁所說的那種把握，臣等不敢保證。臣等只能盡力盡心去做應當辦的事、能夠辦的事，至於成敗利鈍，即便是漢臣諸葛亮，也無法預料，何況臣等！”

但作為反擊，恭親王又抓住了倭仁上次奏摺裡的一個弱點集中攻擊。恭親王說：“上次該大學士說，天下之大，不患無才，要學算術，也不必師從夷人。那麼該大學士肯定能夠保薦數名人才，臣請擇地另設一算術館，由倭仁負責攬師招生教授，以觀其成效。”

倭仁這下確實被難住了。4月25日，他不得不據實上奏，稱“並無精於天文算學之人，不敢妄保”。但朝廷卻顯然有些不依不饒，下旨要求他隨時隨地留心訪查，一旦找到本國精於算術之人，立刻保奏，開設算術館，以收實效。同一天，朝廷還給了倭仁一項新工作：在總理各國事務衙門行走。“行走”是個閒官，但倭仁素來高倡“夷夏之防”，朝廷令他去專門辦理夷務的總理衙門“行走”，顯然是有意折辱這位士林領袖。最後，倭仁外出時故意從馬上摔下來，以受傷生病為由，拒絕前去總理衙門上班。這場歷時半年之久的高層鬥爭的正面衝突就此結束。

倭仁病隱之後，爭論遠未結束。倭仁一系的支持者甚多，朝廷接二連三地接到攻擊開設算術館的奏摺。有些奏摺言辭非常激烈，譬如候補內閣侍讀學士鍾佩賢，就拿當年的天旱為由頭，批判這是朝廷故意為難倭仁所致；候選直隸州知州楊廷熙，則把當年久旱不雨的原因歸結為朝廷開設了算術館，甚至還擴大到對同文館的批判，說同文館這個名字是宋代奸臣蔡京陷害忠良的監獄的獄名，建議算術館並同文館一併裁撤，如此才能夠杜絕禍亂之萌生、端正風俗教化、彌合天變、順應人心。

楊廷熙的奏摺受到了朝廷諭旨的痛斥。諭旨並將病隱的倭仁指責為楊廷熙的幕後主使，要求倭仁病好之後立即到總理衙門上班。當倭仁再度上奏請病假時，朝廷順勢剝奪了其翰林院掌院學士和管理戶部事務的職權。

表面上看，這次同文館風波，朝廷和恭親王站在一起，用行政手段打壓了倭仁一系的意見，獲得了勝利，天文算術館也得以設立。但這種“勝利”其實是很慘淡的，甚至根本稱不上“勝利”，反而可以用“慘敗”一詞來形容！

箇中緣由在於：由於倭仁的半路殺出，造就出嚴重的社會輿論壓力，導致天文