兩江總督南洋大臣的號令都很難在自己所轄的長江水師中貫徹，全國海軍的整體狀況便可想而知。簡而言之，清廷仍是用管理傳統水師方法管理近代海軍，根本未意識到近代海軍裝備技術相當複雜，必須統一，系統管理高度遠非舊式水師可比。何況，朝野許多人都認為建立海軍衙門這樣一箇中國傳統“六部”所沒有、只有“夷狄”才有的新機構，意味著“以夷變夏”！

1874年6月的中日琅嶠海戰，是中國近代海軍組建以來對外第一仗，雖然取得了重大勝利，但也暴露出了中國海軍力量的單薄，使清廷開始重視海軍建設，在1875年2月，清廷釋出上諭，承認雖然與曾建立造船廠、建有海軍，但“造船不堅、制器不備、選將不精、籌費不廣”是導致日本膽敢悍然入侵的主要原因。表示“當此事定之時，懲前毖後，自以大治水師為主”，而海軍衙門便是在這樣的背景下成立的。

海軍衙門的設立可以說適應了洋務運動發展的需要，當時中國已初步具備建立海軍的條件。清王朝自19世紀60年代以來廣泛設廠制械、造槍造炮、製造船艦，逐步改變著中國軍隊陳舊落後的武器裝備。這不僅使陸軍由千年一貫的大刀長矛向近代先進的新式槍炮迅速轉化，建立海軍的條件也日趨成熟。海軍衙門成立前，福州船政局、江南製造局等中國企業自制的大小船艦已達20餘艘，均配備新式槍炮、分撥南北洋，為使舊式水師向新式海軍轉化創造了條件。同時，民用工業的迅速發展，如煤、鐵資源的發掘，交通運輸、電報通訊的相繼創辦，也無一不適應著這種轉化。為加速海軍成軍，清政府開始籌措鉅款向外國定造船艦，並積極謀求和外國合作，吸收外國先進技術，自制軍艦。當時許多西方報刊敏銳地察覺到這一動向，預言：“由此觀之，不數年間，中國陸路之兵，將舍弧矢之戲，而