後來沒幾天，有一流言滿城皆傳，那便是高陽長公主同顧緯天已經和離，且顧緯天續了秋落為繼妻。
這流言傳來傳去，自然也就傳到高陽長公主耳中，既然皇兄不準她同顧緯天和離，她便對這流言不屑于顧，可是有一天，這流言竟變成另外一個版本，說顧緯天欲與高陽長公主和離的真正目的是，高陽長公主不能生養。
這話入了高陽長公主耳中，她可不想等閑視之，她不能生養是事實，但卻不想面對這個事實，除非以和離來掩蓋，因為隻有和離了，她沒了丈夫，能不能懷孕外人也就無從得知。
于是，她再次找到宇文佑，鐵了心的要與顧緯天和離，不料再次給宇文佑駁回。
此時的高陽長公主頗有些内憂外患的感覺，因為她瘋狂報複太後，以至于濫殺無辜，阖宮怨言沸騰，鬧到宇文佑面前，宇文佑狠狠的斥責了她，為了息事甯人，宇文佑甚至廢了她的長公主之位，降等為一般皇親，但保留了她的封号高陽，又責令她不準再踏入宮中，當然，驸馬府也就不複存在，她就随着顧緯天住到了普通的民宅，從此不再是高陽長公主，而僅僅是先皇之女高陽。
從高峰跌落谷底，這種大起大落讓高陽無法接受，直接受害者便是顧緯天，她成天的吵鬧，吵到最後直接的結果是，顧緯天給了她一紙休書，她之前是長公主，顧緯天連和離都是困難的，現在她隻是普通皇親，休妻也就不是什麼難事。
然而還是受到了阻撓，這阻撓來自顧保三，他同高陽一樣的心思，雖然現在依然是榮華富貴，可是再不如做大驸馬的老爹更風光，所以顧保三一方面阻撓兒子休妻，一方面還極力籌謀想讓高陽重回往日的榮耀，他才能雞犬升天的重回往日的榮耀。
為了阻止兒子休妻，顧保三找到張貴玉，想麻煩他在皇上跟前遞個話，有皇上幹涉，顧緯天必不敢休妻。
誰料，張貴玉是個勢利小人，眼見高陽失勢，顧緯天也不再是大驸馬，他就無需再溜須拍馬，于是為難的對顧保三道：“皇上每天光是看奏折都看到半夜，哪裡還有工夫管你的破事。”
翻臉無情，顧保三忍着他的小人嘴臉，賠笑道：“皇上沒工夫管我這破事，也不會有工夫管你的破事，聽說你那個女兒還在冷宮關着呢，你若幫了我，我也可以幫你把女兒從冷宮弄出來。”
張貴玉譏笑着，撇嘴道：“你？”
是了，你一個曾經的太監，你現在進宮都困難，憑什麼管起宮裡的事？
顧保三知道他不會相信，也笑，兇有成竹道：“是我，因為我兒子同狐蘭猗交情深厚，而狐蘭猗同皇上交情深厚，狐氏出面，皇上必然給她面子，你女兒的事就不是什麼大事。”
所謂交情深厚，還不是宇文佑喜歡蘭猗的意思。
不成想，這事也是滿城風雨了。
這回，張貴玉有些猶豫了，宇文佑對蘭猗的心思，他是比誰都了解的，想了想告訴顧保三：“話我可以幫你遞，但能不能成，看你的造化了。”
無路可走，權且一試，顧保三歎口氣：“我信天命。”
張貴玉就一甩拂塵，很是傲慢的樣子：“行了你等信兒吧。”
顧保三千恩萬謝，回到家裡等候好消息。
可是他最後等來的是壞消息，張貴玉找到宇文佑，宇文佑正同九王宇文偲喝酒呢，眼瞅着天漸漸涼爽，也就意味着公輸拓的死期快到了，宇文佑精神煥發，吃了個半醉，同宇文偲說着閑話，三句不離蘭猗，仿佛蘭猗已經唾手可得。
兄弟倆這次吃酒的處所是在“撈月閣”。
這撈月閣建在禦花園的那處小山的頂端，可以俯瞰整個禦花園，無論夏天賞花還是冬天賞雪，都是極好的位置，宇文佑不經意的一回頭，發現張貴玉拾階而上，他淡淡對宇文偲道：“他來準沒好事。”
宇文偲一直都是陪酒的角色，此時業已微醺，醉眼迷離的笑道：“皇兄何出此言？”
宇文佑哼了聲：“還不是因為他那個女兒的事，三天兩頭在朕的耳朵根磨叽，朕的耳朵都生出老繭了。”
宇文偲也知道繡鸾，更知道她一直在冷宮關着，不過随口勸道：“張公公難得忠心耿耿又勤勤懇懇，也在皇兄身邊有些年頭了，皇兄何妨成全了他的心意。”
宇文佑緩緩搖着頭：“放是不能放的，非是朕心狠，而是老九你不知道内情，張貴玉的那個女兒，其實曾在衛沉魚身邊做過婢女。”
這事宇文偲知道，再勸：“可她現在是皇兄的嫔妃。”
宇文佑擺擺手：“你還是沒明白朕的意思，她既然是衛沉魚的婢女，朕擔心她是衛沉魚安插在朕身邊的細作，誰都知道衛沉魚同公輸拓的關系。”
這事宇文偲還真沒琢磨透，狐疑道：“不會吧。”
宇文佑冷冷一笑：“朕不能掉以輕心，朕必然也不會給公輸拓一個喘息的機會。”
宇文偲沉吟着，深知宇文佑多疑，也就不敢再說其他，甚至怕自己為繡鸾開脫太多，從而引來皇兄的猜忌。
此時張貴玉走了上來，先拜見宇文佑，再給宇文偲施禮。
宇文佑捏着酒杯懶得看他，隻問：“什麼事？”
張貴玉艱難的笑着：“還不是大驸馬同高陽長公主的事。”
宇文佑突然不悅：“顧緯天不再是大驸馬，高陽亦不再是長公主，老張，你這差事也當得膩了，是故意口誤，還是真的忘記了。”
張貴玉慌忙給了自己一嘴巴，哭笑不得道：“皇上恕罪，還不是叫順嘴了。”
宇文佑懶得看他這種嘴臉，抿了口酒問：“說吧，那兩個人又怎麼了？”
言語間頗有些不耐煩。
張貴玉看出他不高興，無奈答應顧保三的，隻好硬着頭皮道：“顧緯天要休妻。”
宇文佑一愣，完全沒料到顧緯天會如此大膽，更沒料到顧緯天會如此的耿直，他是甯可不當皇親國戚，也要離開高陽，宇文佑生氣，想金口一開讓顧緯天死了那條心，可是實在給這兩個人鬧得心煩，為了以後他們不再煩自己，索性道：“顧緯天想休掉高陽，他做夢，朕已經下旨準他二人和離。”