——實行民族和睦、安居樂業政策，鼓勵大陸移民與土著居民“共敦和睦，毋相尋仇，以全類族，各安生業”。

——幾乎月無虛日地反覆視察臺東“轄境內五百里”的所統各營屯，並立即肯定正確點滴，教正不當之處，深為諸官所驚服。

——親自主持軍隊操練，尤其“步伐打靶”等基本訓練，常說：“習之熟，則猝遇非常，不至張皇矣”。為此，他先身士卒，“黎明即起，赴軍中點卯”。

——禁菸禁賭。他極力在軍隊中禁菸。由於當時臺灣瘧疾猖獗，嚴重影響戰鬥力，而軍隊中流行著鴉片可防禦此惡疾的誤妄說法，　故幾乎全軍吸毒。胡鐵花下令禁過煙，但積重難返，時間又短，沒有明顯成效。

——嚴禁賭博，力戒“隋遊”。後者，即土著（男女）裸體上街遊蕩，沿襲成習，不以為怪。這位大陸去的軍政長官，首先是發放給他們一衣一褲（或裙），告示必須穿衣褲出門，若有違者，則嚴刑處置。不久，社會面貌就有改觀了。

百姓知道好歹，高山族同胞為此製作了質料、做工俱精美的“萬民衣”，贈獻給這位為他們做好事父母官。其中一件完好留存當地，如今已為臺東文獻委員會珍藏；另一件，胡鐵花殉國後，隨同他的棺槨一起運回績溪，在胡家被精細儲存起來，###馮夫人的內侄馮致遠曾見過，他說：“（臺東）地方紳士曾集奉送萬民衣一件。這件衣服一直儲存到‘文化大革命’時才遭焚燬。”

歷史也沒有忘記胡鐵花的功績，現在臺東縣已將光復路改名為鐵花路，並樹立了《州官胡公鐵花記念碑》，有云，“服官勘勤，夙夜匪懈，遇事奮往，不避艱險……凡此諸端，具徵臺東七十年來開發之促進民智之啟沃，而有今日之成規者，乃公之流徽麗澤也。”

胡鐵花到臺一年後，1893年2月26日，把留在上海的少妻馮氏、幼子胡適接來臺東團聚。但寧靜溫馨的生活只維持一年略多時間，隨著甲午戰爭中國的失敗（1894年），屈辱的《馬關條約》簽訂（1895年4月），國家的悲劇、臺灣的悲劇、胡家的悲劇接踵而來。

甲午平壤戰役和黃海海戰中國大敗後，日軍步步進逼，逐次攻陷了遼東半島的金州、大連、旅順，進而準備進攻北洋海軍司令部所在地山東半島的威海衛，臺灣島已進入備戰狀態。胡鐵花預側全島險惡前景，遂於1895年1月，遣送馮氏偕胡適並四弟介如、三子嗣 等一行回績溪（二子紹之暫留身邊照應），給妻子和三個兒子各一份言簡意賅的遺書，自己則留在孤島絕地，以身報國。

1895年2月，日軍攻陷威海衛，佔領劉公島，12日海軍提督丁汝昌殉國。北洋海軍全軍覆沒。4月17日，李鴻章到日本，在廣島與伊藤博文簽訂了喪國辱權的《馬關條約》，將我國的臺灣島及澎湖列島割讓給日本。18日，噩耗傳到國內，舉國大譁；臺灣同胞尤為激憤，“若午夜暴聞轟雷，驚駭無人色”，“聚哭於市中，夜以繼日，哭聲達於四野，風雲變色，若無天地”。隨即，北京朝庭電令臺灣巡撫唐景崧“交割臺灣限兩月，餘限20日，百姓願內渡者，聽。兩年內無內渡者，作日本人，改衣冠。”到5月18日，清庭又嚴令唐：“著即開缺，來京陛見，所有文武大小官員，著即內渡返大陸。”這時省會、道、府、縣官弁相繼納印內渡。提督楊歧珍交納印信後，在限定期中渡返大陸。臺灣巡撫唐景崧再也不堅持抵抗了，準備內渡返大陸，只是離臺時限已過，口岸嚴加封鎖，6月6日他在淡水偷渡時被守臺兵士扣留；他登上德國輪船，仍為淡水要塞攔截，後在德輪炮擊掩護下，落海而去。這時臺北、基隆已被北白川能久親皇率領的日本佔領軍攻佔了，兵鋒直指臺中、臺南。一片撤臺塵囂中，也有少數清朝駐臺文官武將不答應，堅持留島抵抗。在籍工部主事丘逢甲，破指血誓：“抗倭守土！”表示“如倭酋來收臺灣，臺民惟有開戰”。早年移駐臺灣的原廣東南澳鎮總兵、臺南新軍統領、鎮南關抗法名將劉永福，釋出《盟約書》：“為大清之臣，守大清之土，分內事也！”臺東地僻而遠，聞命獨遲，胡鐵花此時已患嚴重熱帶腳氣病，行動艱難，他趕去臺南（臨時省會）匯合堅持抵抗的唯一軍事領袖劉永福後，負劉命，抱病策馬而去尋找臺中知府黎雲松——他還掌握臺中、彭化一帶朝庭府庫銀兩物資——為抗日義軍籌集彈藥糧草，終於找到黎知府，完成使命。過不久，日艦進犯臺南門戶安平。劉永福決定死守安平，保留一條海上退路。劉永福抵抗到最後，因孤軍無援，也是在這裡渡海撤回廣東的。胡鐵花也在安平，但此時他的腳氣