眼瞧著稅利增加，官府要呈報上司，表彰鄉紳建邑之功，龍家卻堅辭不受。寺觀勒功紀德一概不允，走街串坊的藝人都不準唱唸事蹟，無論黑*道白道，廟堂江湖，傳向各個階層的聲名盡被隔絕。

久而久之，當地謠言紛紜，有人說這家人清高寡淡，不意聞達於邦國，只願隱居於田舍。可是龍家宅第壯麗，氣派煊赫，日常供奉擬比王侯，哪有半點隱士的作風？有人說他們是陶朱公的子孫，惟求自享奢榮，不圖功名利祿。可是龍家暗通官場，與各處地方官常有往來，每每賄賂金銀，所求之事卻是替他們掩蓋名聲。又有人說龍家暗藏野心，掌管城郡命脈，進而廣攬民心，時機成熟就將割地稱霸。然而龍家遠離大小城鎮，處武陵、桃源、龍陽、沅江四縣交接部，就在高山深峽間建莊修院，採買物品出入有秩，僕從雖眾規矩極嚴，輕易不肯拋頭露面，焉能招攬百姓侵據地盤？隨著年月流逝，各種猜測不闢自破，各種謠傳漸行平息。龍家歷代奇風不改，當地人都見怪不怪了。若遇外地行客刨根問底，人們便會眺望蒼茫遠山，極目搜尋其中的廣廈華屋，肯定的道：“武陵龍家啊，那是神仙的府第，凡人沒福見識。”

正如此言所示，龍家的府宅籠罩著�