高祖李渊像
七月，李渊命四子李元吉留守太原，自己率军西进关中，遭到屯兵霍邑（今山西霍县）的隋武牙郎将宋老生的阻挡。适逢秋雨连绵，道路泥泞，粮草供应不足。裴寂等主张还师太原，固守根本，以图后举。李建成、李世民等力主进军。李渊最后决定继续西进。八月雨止天晴，太原军粮运到，士气大振，终于击败宋老生，平定霍邑。接着又连取临汾（今山西临汾）和绛郡（今山西新绛）。九月，李渊率军直逼河东，屈突通固城自守。李渊采取李世民的建议，留兵围河东，自率大军西进，由壶口渡黄河，直取长安。十月，李渊至灞上，与李建成、李世民、平阳公主军会师，20余万，围攻长安。十一月攻克长安，与民约法十二条，封府库，收图籍，禁掳掠。李渊占领长安后，为了显示他攻取京城是为了保存隋朝正朔的正义性，便将隋炀帝的孙子隋代王杨侑立为皇帝（即隋恭帝），改元义宁，遥尊隋炀帝为太上皇。而实际上李渊成为真正的掌权者，做了大丞相，并被进封为唐王。由此李渊以武德殿为丞相府，总揽军国大事，以裴寂为长史，刘文静为司马，李刚为司录。此外李渊还将自己的长子陇西公李建成封为唐国世子，次子敦煌公李世民封为秦王，四子姑臧公李元吉封为齐王。