住宅是給自己的，他不知情，也不曾接受賄賂。且皇帝還需要他這樣的能臣，張嘉貞於是僥倖逃過一劫，從此卻收斂了許多。

張說趁機勸說張嘉貞，讓他素服待罪。武宗貶張嘉貞為豳州刺史，命張說接任中書令。張嘉貞這才知道上了張說的當，為此非常後悔。

後來，張說黨羽秘書監姜皎因洩露禁中語獲罪，張嘉貞視之為眼中釘，慫恿武宗施以廷杖，暗地裡叮囑施刑官下狠手，致使姜皎傷重而死。

不久，工部尚書花城都督裴伷先也因罪下獄，張嘉貞又請求施以廷杖。

裴伷先在官場上頗有些名氣。許多官員為他求情。

裴伷先年少聰敏善辯，為人剛直不阿，是相國裴炎的侄子。他十一歲，便承恩澤任太僕寺丞。裴炎因忠於李家，被瞾君殺害。裴伷先也被連累，廢官為平民，遷到南荒嶺外。唐國復立才被起用。後來官至工部尚書東都留守。

張說反對道：“士可殺不可辱。此前秘書監姜皎犯罪，如果該殺，那就公開處死，不應讓他當庭受辱，被小人活活打死。姜皎之死已無可挽回，現今對待裴伷先，不能再犯濫用刑法的錯誤。”

武宗採納了張說的意見。張嘉貞很不高興，私下指責張說道：“你話說的太重勒。”

張說笑道：“誰也不能當一輩子宰相，倘若我們開了貴臣受杖的先例，難保將來也有受辱之時。”

開元十二年，張嘉貞升任戶部尚書、益州長史，並代理都督之職。不久，武宗在中書省設宴，命張嘉貞與宰相張說一同預宴。張嘉貞對張說痛恨不已，在席間謾罵不止。源乾曜與王晙極力排解，這才將張嘉貞勸走。

開元十三年，武宗賜死李隆基親信王守一。張嘉貞因與王守一交情深厚，也被貶為台州刺史。不久，張嘉貞又擔任工部尚書、定州刺史，掌管北平軍事，封河東侯。張嘉貞赴任時，武宗親自賦詩勉勵，並命百官到上東門外餞行。

王守一，王仁皎子，平王李隆基的王妃之胞兄，妻為靖陽公主。軒轅勃即位後，王守一鬱郁不得志，圖謀不軌，數度勸說李隆基謀逆，陰謀洩漏後被流放，行至藍田驛時賜死。王守一性貪鄙，積財鉅萬，及籍沒其家，財帛不可勝計。

729年，張嘉貞身患不治之症，日漸消瘦，回到洛陽時，已雙目失明，病情加重。武宗特派御醫前往診治。無奈病情已入彌留。這年的八月，張嘉貞闔然長逝，享年六十四歲。武宗痛失臂膀，追贈張嘉貞為益州大都督，賜諡恭肅。

武宗思念老臣，想來想去，還是宋璟忠實可靠，於是再次拜他為尚書右丞相。

宋璟雖然忠誠無私，不諂媚，不結黨。但這個人自命清高沽譽賣直，辦事能力比不上姚崇和張說。沒過多久，武宗提拔文武雙全的張說，取代了沽譽賣直的宋璟。

開元八年，武宗封姚崇為太子少保，但他卻因病沒有接受。

姚崇在京城沒有住宅，寓居在罔極寺中，因瘧疾臥床不起。武宗每日派遣使者數十人，前去探病，每遇軍國重事，都命黃門監源乾曜去徵求他的意見。後來，武宗採納源乾曜的建議，命姚崇搬入四方館居住，並准許他的家屬侍疾。

姚崇認為四方館為四方賓客和使節歇宿之地，且存有官署文書，非病人宜居，極力推辭。或許進入四方館，就不自在勒。

武宗勸道：“設定四方館本就是為官員服務，朕安排愛卿住進來，是為朝廷考慮。倘若可能，朕恨不得讓姚愛卿住進宮裡，勿要推辭！”

姚崇在朝廷為官多年，因為脾氣剛直，招惹很多政敵。最大的對手就是張說。兩個都是精明強幹的能臣，由於政見不同，互相看不慣，互相詆譭，積累的恩怨甚多，成為開元以來的死對頭。

姚崇彌留之際，把兩個兒子叫到床前。姚彝姚炳以為老爺要給他們分配家產，來到床前，聽候遺囑。

姚崇吩咐他們：“等爹爹死後，務必將我畢生所積財寶都放在棺材前。”

兩個兒子聽了他話後，都感到好奇，卻不知爹爹為何這麼做。姚彝就問出心中的疑問。

姚崇解釋說：“爹爹在朝廷為官多年，雖沒有犯過大錯，但也結下很多仇怨。張說心胸狹隘，和我的仇怨極深。他又是皇帝身邊的紅人。爹爹在世之日尚能維護你們，等到我死了，張說一定不會輕易放過姚家。他會將朝政中的舊案，推到我頭上，讓死人頂罪。如此一來，既能讓姚家滅門，也能讓他自己撇開嫌疑。到那時你們必定鬥不過他。”

姚炳聽爹爹這麼說，就緊張起來，問他怎麼化解危機。