不料武則天反應冷淡，讓他大失所望。

薛懷義心中鬱悶，河內坂良那借這個機會，將其灌醉，然後一把火將明堂點起了大火。這一場火勢極大，史書記載“火照城中如晝，比明皆盡，暴風裂血像為數百段”。到了次日清晨大火熄滅，明堂與天堂均被燒成了白地，夾紵彌勒大佛像被燒成了灰燼，玉佛卻不知所蹤，佛軍統領連衡也消失了。

薛懷義酒醒以後，以為這場大火是自己引起的，自縛請罪。武則天念在舊情，赦免了他，但對失蹤的玉佛卻耿耿於懷。根據副統領魚朝奉的說法，連衡是監守自盜，趁亂竊走玉佛。於是全國都發下海捕文書，捉拿連衡。

而實際情況，卻是河內坂良那趁大火盜走玉佛，一路朝著東方跑去。連衡不及通知同僚，隻身追蹤而去。最後連衡在揚州附近追及河內坂良那，兩人鬥智鬥勇，都奈何不了對方。在爭搶中，玉佛被一摔為二，佛頭被河內坂良那奪走，返回日本，佛身卻落到了連衡手中。

連衡返回洛陽，驚愕地發現自己竟已成罪人，連同連氏家族也被波及。他手中只有無頭玉佛，不敢交還朝廷，又不敢留在身邊，只得將其埋在岐山群山之中，在其上面建起一座關帝廟，以紀念佛軍守護。而他則改姓為許，隱居在岐山附近，默默地守護著。

對於河內坂良那，許衡一直耿耿於懷，希望有朝一日可以尋回佛頭，奉還朝廷，恢復家族名譽。為此，他拼命鑽研金石玉石的鑑別之道，逐漸在當地有了名氣，娶妻生子，把根紮在了岐山。兒子成年之後，許衡把家業與鑑古手藝傳承給他，留下一篇《自敘》給家人，毅然離開岐山。

在《自敘》裡，許衡先是把玉佛的來龍去脈講了一遍，然後表示自己的時日無多，希望能在臨死前去日本，毫無顧忌地放手一搏，才算對得起自己當年的誓言。許衡還表示，如果他沒有回到中土，說明佛頭的任務失敗了，那麼這個使命，將由許家子孫一代代傳下去，直到玉佛身首歸為一為止。

據說後來他化裝成僧人，混入鑑真大師的隊伍，從此再無任何訊息。究竟他是在海難中身亡，還是在日本被殺，就沒人知道了。

但許家沒有遺忘家族祖先的遺訓，將祖先交託的使命一代一代傳了下去。筆記裡列了一個很詳細的家譜清單，上面的記錄顯示，許家從沒有忘記過這個遺訓，一直把佛身保護得很好，再窘迫的時候，也沒人會提出賣掉它。

幾百年下來，許家的金石鑑定之術已成為權威，更逐漸吸引了一批志同道合者，形成了五脈鑑古的雛形。而先祖許衡的囑託，歷代許家子孫也未敢遺忘，每一代總有人會前往岐山，守護玉佛身。筆記關於這一部分的記錄，零散而瑣碎，都是在記敘哪一代什麼人做的關於玉佛的什麼事。

到了明代萬曆年間，才重新出現了大段記錄。當時許家有一名子弟叫許信，參加了大明援朝抗倭戰爭。許信在前線殺敵之時，無意中發現一個姓木戶明雄的倭寇頭目，居然想喬裝潛入內陸，形跡可疑。他得到上級首肯後，隻身追蹤而去。幾番交手，許信才知道，木戶這個姓，原來就是當年的河內家分支傳下來的，他們繼承了河內坂良那的遺志，一直對留在大陸的玉佛身垂涎三尺。最後兩人在岐山附近同歸於盡。

許家這才意識到，原來幾百年過去，河內坂良那的子孫竟然也一直沒放棄奪取玉佛的心思。在族長的主持下，許信被安葬在離玉佛不遠的地方，以表彰其精神。而從這時候起，許氏族長下令對玉佛之事三緘其口，除了長房嫡子嫡孫以外，不得外傳。

這個命令初衷是為了防止有心人覬覦寶藏，但時間一長，對玉佛的存在知道的人逐漸變少，再加上亂世波折，傳承幾度中斷，五脈尚在，但玉佛之事卻慢慢地被許氏子孫淡忘。到了清代，許家已無人記得，就連《自敘》一文也不知流去何方。

在論文的結尾處，作者不無憂鬱地寫道：“自從唐代連衡祖先東渡以來，列祖列宗無不秉承‘信義’，把守護玉佛視為比性命還重要的事，這是多麼令人欽佩的事情呀。連衡先祖開創白字門金石之法，本意是讓許氏有朝一日尋得玉佛，可以明辨其真偽。可如今本末倒置，玉佛無人記得，這鑑古之法倒成了主業。世風日下，人心不古，許氏已遺忘了祖先的囑託，偏離了本道，把心思都用錯了地方。

“我花了十幾年的時間，蒐集、考證了無數古籍與古董，試著將許衡祖先的事蹟復原，其目的在於有朝一日，可以喚醒許氏血脈，再度肩負起這個使命，不讓我們的祖先蒙受無信的羞辱。明堂已經化為灰燼，武則天在乾陵裡沉睡，對朝廷的恩義，我們可