此時天下已經出現了動亂的苗頭，張衡也憂心忡忡，便想接著這個機會進諫楊廣，因此趁機說道：“這幾年勞役繁多，百姓疲憊，實在不應該再大興勞役，還請聖人慎重。”

楊廣當時聽了便很不高興，只是礙著面子沒有發作。

等到張衡離開後，楊廣便連桌案都推翻了，指著張衡離去的方向大聲罵道：“你以為你是誰！”

後來便傳出天子曾對親近侍臣言“張衡自以為因為他的計謀，才讓我有天下”的話。

再之後，齊王楊暕將伊闕令皇甫詡帶到汾陽宮，有人便告發此事便是透過張衡做的。又說以前天子到涿郡以及祭祠恆嶽時，那些來謁見的父老鄉親，衣冠大多不整，這是身為御史大夫的張衡沒有做好。

楊廣趁機發難，怪罪張衡，身為司法官不能檢舉處理這些問題，讓他出京當樓煩太守。

張衡就此被貶出朝廷。

大業五年，楊廣又到汾陽宮，張衡正在督促勞役修築樓煩城，因而拜見楊廣。

此時楊廣以及對張衡充滿了厭惡，他見張衡沒有消瘦，竟然覺得是因為張衡沒有反思自己的過失，便對張衡說：“你長得很肥，應暫且回到郡裡去。”

再之後張衡又被貶為江都宮監，負責修建江都宮。

張衡也回到了十年內他們離開的地方。

正巧有人到張衡那裡告監修江都宮的人，張衡不為他處理，卻把狀紙交給那個監工，這個人吃了監工更大的虧。

禮部尚書楊玄感出使到江都，這個人到楊玄感處喊冤。

楊玄感自然認為張衡的作法不對。到與張衡相見時，楊玄感又沒說什麼。張衡又先對楊玄感說：“薛道衡真是被冤死的。”楊玄感把這些事都報告給了楊廣。

揚州不少官員也上奏張衡頻頻減少勞役的飯食。

楊廣於是發怒，把張衡關起來，送到江都，將要殺他，過了很久才放他，除名為民，放他回老家鄉里，只是常令親信窺探張衡在做些什麼。

大業八年，楊廣從遼東回到洛陽，張衡的小妾說他心懷怨恨，誹謗朝政，楊廣也不知是不是真的恨張衡欲死，竟然賜他在家裡自盡。

張衡臨死時大聲說道：“我為世人作了什麼好事，還想久活！”監督行刑的塞耳不敢聽，下令殺了他。

······

黃明遠絮絮叨叨跟陳遠講他跟張衡的事情，實際上這些年張衡的情況黃明遠都知道，只是不想引得天子忌憚，所以對於張衡的貶黜才不發一言。

終究是張衡和楊廣不和，在黃明遠看來，張衡太耿直了，老死地方，或許也是一種好的交代。

可誰能料到，張衡最終死在了楊廣的手上。

若是可能，黃明遠真的想在楊廣一次次貶黜張衡的時候替恩師求一下情，也使得楊廣在痛下殺手的時候能夠心生忌憚。