李淵在誅殺王威、高君雅之後，在太原郡招兵買馬了兩旬，得兵數萬，亦完成了造反準備，終於決定扯旗了。

十一月五日，李淵在晉陽城設起義堂（亦稱號令堂），將軍隊分為三軍，統稱“義士”。裴寂等尊稱李淵為“大將軍”。

十一日，李淵在晉陽城建大將軍府，自稱唐公，以長子李建成為隴西公、左領軍大都督，統率左軍；以次子李世民為敦煌公、右領軍大都督，統率右軍；以四子李元吉為姑臧公，統率中軍。以裴寂為大將軍府長史，劉文靜為司馬，殷開山為掾，劉政會為屬，長孫順德、王長諧、姜寶誼、楊屯、劉弘基、竇琮為左右統軍、副統軍。

至此，李淵完全打響了造反的號角。

不過李淵聽聞黃明遠已經率軍征討劉武周的叛亂，心中擔憂。他知道留給自己的時間不多，務必要儘快西進關中。

十一月十五日，李淵在晉陽宮城東的乾陽門街軍門前豎旗誓師，誓文中歷數了隋煬帝楊廣的種種罪惡，宣佈要“興甲晉陽，奉尊代邸，掃定鹹洛，集寧寓縣”。並任命四子李元吉為鎮北將軍、太原郡守，讓其留守晉陽城，並以竇抗第三子竇誕、大將軍府屬劉政會、鎮北將軍府長史宇文歆等人留守晉陽。

晉陽城堅，且糧儲豐富。李淵留兵兩萬，並組織青壯萬餘人守備，就是為了給他南下爭取更多的時間。

甚至為了安定軍心，他把十三歲的兒子李元吉都留在了晉陽城內。

但這些人都是消耗品，若是能守住晉陽城最好，若是守不住，也沒有辦法，只能儘可能地爭取時間。

十六日，李淵親率長子李建成、次子李世民及甲士四萬人自太原郡揮兵南下，直指關中。

唐軍進軍迅速，十六日起兵，到了二十一日便攻破了西河郡，郡司法書佐朱知瑾等人投降，唐軍生俘西河郡丞高德儒。高德儒不降，被李淵下令誅殺。

二十五日，唐軍兵至賈胡堡，距霍邑五十餘里。在這裡，他們遇到了第一個攔路虎大隋虎牙郎將宋老生。

霍邑是雀鼠谷的南頭，地形險要。

宋老生屯兵六千，駐守此地，據險而守。

此時寒冬已至，到了二十八日，終於降下了今年冬天的第一場大雪。寒風呼嘯，雪花紛飛。

唐軍冒著大雪，沿小路趕到霍邑城下。

唐軍叫陣，宋老生也不是傻子，這種情況下，只要守住霍邑，唐軍必然會因為嚴寒而不得不撤退，又何須出戰。

因此宋老生命麾下緊守不出。

李淵命劉弘基上前挑戰，可還沒到城前，便被一群箭雨逼退。劉弘基不得不狼狽退回。不過劉弘基也有辦法，他在軍中找了十多個嗓門大的，對著霍邑城頭叫罵，什麼汙言穢語都有，把個守軍氣的七竅生煙。

不過宋老生看出了這是誘敵之計，任憑唐軍罵破大天，他也不搭理。

唐軍罵了一天，口乾舌燥，一無所獲。

眼看誘不出對方，李淵乃下令強攻。但是效果出人意料，這麼大的雪，城牆上盡皆冰凍，士兵根本無法攀越，攻城數日，卻是損失慘重。

造反之事，一鼓作氣，再而衰，三而竭。剛開始的時候，大家都鬥志昂揚，期盼著造反成功，加官進爵，封妻廕子，但現在進展不順，不少人激情退去，開始恐懼。