先生照顧他。有人取笑他說：“潘先生的立場觀點都有問題。”他說：“不只如此，我的方法也有問題，我架的雙柺是美國貨。”（葉篤義：《雖九死其猶未悔》，北京十月文藝出版社）他喜歡研究家譜，看了許多他姓家譜。有人送他一副對聯：“尋自身快樂，光他姓門楣。”

因潘光旦行走用木拐，朋友徐志摩戲言“胡聖潘仙”。胡聖，指胡適；潘仙，指潘光旦，比喻他為名列八仙之一的李鐵柺。他還喜歡旅遊，挑戰自我，“到人不到”之處，偏幹一些常人認為肢殘人幹不了的事。在西南聯大演講時，他講到孔子時說：“對於孔老夫子，我是佩服得五體投地的。”說著，他看了一眼自己缺失的一條腿，更正道：“講錯了，應該是四體投地。”引得同學們大笑。

當時，他寓昆明農村一小樓上，沒有書房。一商界朋友在自己的新房中送他一間作書房，雖寄人籬下，但環境挺幽雅。他用隱士蟹寄住螺殼比喻，作一聯，送給前來看他的學生李樹青，聯語是：

螺大能容隱士蟹，

庭虛待植美人蕉。

他請李提意見，李便和他開玩笑：“此聯是否已徵得潘太太首肯？否則，我建議用‘壽仙桃’代替‘美人蕉’。”潘光旦開顏大笑：“原意在屬對，並無金屋藏嬌之意。”

狼煙歲月業餘生活貧乏，清華大學的職員們也喜歡打麻將，以致小偷乘空而入竟不知。作為教務長的潘光旦，寫了一封信貼在他們客廳的門柱上，大意是希望他們玩要