楊廣一徵高句麗失敗，天下震動。接著山東、河北等地的老百姓也紛紛作亂，整個大隋陷入了混亂。

此時楊玄感覺得起事的時機已經到了。

楊廣自己作死，這不正是意味著皇位要落到他們楊家。

楊玄感便決定趁機作亂。其三弟楊玄挺最是穩重，便勸兄長“父親曾有言，黃明遠不動，楊家亦不可動，今黃明遠統兵幽州，俯瞰天下，未可輕動。”

然楊玄感卻聽不進去，他認為黃明遠將要統領大軍征討高句麗，到時候是勝是敗難料。若是不選擇這個良機，等到黃明遠平定高句麗，再想動手便難了。

其餘幾個弟弟，也紛紛贊同楊玄感。

對於楊家兄弟來說，楊廣是殺父仇人，當初楊素為楊廣登基立下了汗馬功勞，可是楊廣坐穩皇位之後，便翻臉不認人，楊素便是給楊廣活活逼死的。現在有機會起事，既是為了楊家的未來，也是為了報父仇，如何能不願動手。

楊玄挺無奈，最後只得與兄長商議，等到楊廣到了遼東之後，再偷偷動手，搶在楊廣反應過來之前，抵定形勢。

果然到了第二次征討高句麗，楊玄感自請督運糧草。他本身是兵部尚書，雖然督運糧草的事有些大材小用，但也算立功的機會。

而且為了讓楊廣信任，楊玄感還請自己的弟弟虎賁郎將楊玄縱、虎賁郎將楊萬項二人跟隨楊廣一同前往遼東，使得楊廣更是滿意。

在楊廣看來，楊玄感也算知趣，可以用之。

楊玄感作為督運糧草的總負責人，坐鎮黎陽城（今河南省浚縣）。楊玄感便和親信虎賁郎將王仲伯、汲郡贊治（相當於郡丞，楊廣改州為郡，並長史、司馬為贊治，後改為郡丞）趙懷義等謀議，減緩運送糧草的進度，使得東征大軍缺糧。

楊玄感多次以道路不通暢為名使運糧隊伍在黎陽逗留，不按時發運糧草。

楊廣在行營眼看糧草進度緩慢，便派遣使者來催促。楊玄感便推脫道：“水路有很多反賊，不可前後而發運。”

此時各地反叛沸沸揚揚，整個河北到處都是亂民，楊廣對此也無奈，只得命人加緊催促楊玄感，令其不可誤了大事。

此後楊玄感更進一步，只往遼東發一半的糧食，其餘全部截留下來。

眼看楊廣已經遠去，楊玄感又偷偷傳信自己的弟弟楊玄縱、楊萬項二人，令他們偷偷潛回中原。

四月十五日一早，楊玄感突然囚禁跟他一起在黎陽的朝廷官員，並召集手上的運糧民夫和護衛，宣稱“來護兒因為失軍期而造反”，正回師準備攻打洛陽。眾人半信半疑，楊玄感便亮出他用家奴偽裝的使者，宣稱正是從東萊郡歸來的。

因為楊玄感的身份、地位，眾人只得跟從。

至此，楊玄感開始了他的不甚好看的造反之路。