張氏難保不曾在別的事上欺騙過他。在處理了朱荃後，乾隆又釋出諭旨，說張廷玉舉薦此人，並與之結親，是在乾隆年間，“在雍正年間，伊必不敢如此”。張氏平日謹慎，深通遠禍之道，在雍正年間不會做出這樣的事。而在乾隆年間，竟敢漫無忌憚至於如此，這不是明擺著是藐視朕躬嗎？他命張廷玉老實交代，與這樣的卑汙小人“公然與為姻親，是誠何心”？

連與人結為兒女親家都成了罪過，這真是欲加之罪，何患無辭了。皇帝對張廷玉的嫌怨之情，溢於言表。

絕不容眼裡摻一點沙子的皇帝決定，收回以往三代皇帝對張廷玉的一切賞賜，以示懲罰：

張廷玉深負三朝眷注之恩……豈容其冒叨寵齎。所有歷來承受恩賜御筆、書籍，及尋常齎賞物件，俱著追繳。

皇帝派出自己信任的內務府大臣德保，去執行這個任務。在派出之際，特意把他召入宮內，秘密叮囑了一番。

乾隆十五年（1750年）八月，欽差大臣德保來到了張家。張廷玉率領全家，跪在門口迎接。他早早遵旨，把三朝皇帝賞賜給他的字畫、珠寶、衣服器物收拾到一起，準備交給德保。誰也沒有想到的是，德保不但帶了十多名隨從，還從知府那裡，借來了200名兵丁。這200名軍人事先顯然準備充分，進了張家，不由分說，以查詢是否還有遺漏的賞賜物為名，開箱砸鎖，挖地三尺，居然抄了張廷玉的家。

好在張廷玉持身之謹並非虛言