李渊为人“素怀济世之略，有经纶天下之心”。见人一面，不论贵贱，即能十数年不忘。当时的山川冲要，他也做到了“一览便忆”。此外，李渊也是一个胸有成竹，老谋深算的政治家，在镇压农民起义的过程中，他招降纳叛，不断扩充自己的实力；并授意长子李建成在河东“潜结英俊”。李世民也在晋阳暗中结交豪杰，招纳逃亡之人，网罗各种人才。
当时，起兵反隋的队伍蜂拥而起，隋炀帝所在的江都（今JS省YZ市）被孤立。晋阳县令刘文静看到李渊“有四方之志”，于是竭力结交。后来，他与李世民在狱中结识，暗中谋划起兵事宜，但确定计策后，李渊还不知情。李世民想实情相告，又担心李渊不听。李世民私下找到晋阳宫副监裴寂商议，裴寂就选了晋阳宫的几个美女，乘李渊喝醉酒之后，陪他过夜。然后，裴寂把李世民的谋划告诉了李渊，李渊大惊。裴寂说：“安排宫女侍奉，事情暴露后是要杀头的，我这么做就是为了要劝你下定决心起兵啊。”李世民乘机向李渊汇报了整个计划。李渊开始时假装不同意，还表示要把李世民送去报官。过一了会儿，李渊还是答应了起兵，对李世民说：“我爱护你，怎么忍心去告发你呢！”
大业十三年（617年）二月，李渊治下驻马邑（今SX省SZ市）的鹰扬校尉刘武周发动兵变，杀死太守王仁恭，割据马邑而自称天子。三月，刘武周攻破楼烦郡，进占汾阳宫，并与突厥勾结，图谋南下争夺天下。炀帝闻讯后大怒，要提李渊到江都治罪，李渊大为惊恐。在此危急情势下，李世民说：“事情紧急，可以举事了。”后因炀帝又遣使赦免李渊而作罢。但李渊周围的心腹裴寂、许世绪等也纷纷劝他起兵，李渊终于下定了反隋的决心。于是，他以讨伐刘武周、防备突厥南下为名，派李世民、刘文静、长孙顺德及刘弘基等人到各地募兵，一个月内便召集部众近万人，又暗中派人往蒲州召儿子李建成、李元吉至晋阳，准备起事。
太原副留守王威和高君雅看到李渊招兵买马，怀疑李渊要造反，便密谋骗李渊父子到晋祠祈雨，想要除掉他们，向隋炀帝邀功请赏。不料，这一密谋被晋阳乡长刘世龙获悉，告知了李渊。五月十五日，李渊、李世民先发制人，指使鹰扬府（一作开阳府）司马刘政会告发王威、高君雅二人暗中勾结突厥，引突厥入寇中原，借此将二人囚禁。五月十七日，恰巧数万突厥军队进攻晋阳，李渊立刻下令将二人斩首，对突厥大摆空城计，派部将王康达、杨毛等抄袭突厥，夺取马匹以充起兵之用。随后，李渊派刘文静出使突厥，亲写书札，对突厥始毕可汗卑辞厚礼，始毕可汗复书，承诺支持李渊起兵。
五月三十日，李建成、李元吉自河东到达晋阳，李渊再无后顾之忧。于是裴寂等与李建成兄弟，请求“废皇帝而立代王，兴义兵以檄郡县，改旗帜以示突厥”，李渊完全照办。六月，因西河郡不肯从命，李渊使李建成、李世民率军破郡城，斩郡丞高德儒。自此李渊自称大将军，署置府僚，以李建成为陇西公，左领军大都督，领左三统军等；李世民为敦煌公，右领军大都督，领右三统军等，各置官属。又“开仓库以赈穷乏，远近响应”，队伍大为扩张，“二旬之间，众得数万”。于是定下入关之计。
南下建唐
大业十三年（617年）七月五日，李渊自率甲士三万誓师，正式起兵。他们由晋阳出发，沿着汾河谷道南下河东。表面上打着“志在尊隋”的旗号，宣布尊立代王杨侑（隋炀帝之孙）为帝。始毕可汗派人送马千匹，驻在楼烦的原西突厥特勤阿史那大奈（即史大奈）也率兵相助。李渊军行至贾胡堡（今山西灵石西南），代王派遣虎牙郎将宋老生率精兵两万屯霍邑（今属山西），左武候大将军屈突通领骁果数万人屯河东，阻击李渊军南下。这时正值秋雨连绵，道途泥泞，李渊军不得前进，军粮也感匮乏。外间还谣传突厥将与刘武周乘虚掩袭晋阳，因刘文静出使突厥未归，众人不知虚实。李渊召集将佐商议对策。裴寂等主张“还救根本（晋阳），更图后举”。李建成、李世民则力主进军。李渊经过慎重考虑，终于作出了继续进军的决定。
八月，雨止天晴，军粮也从太原运来，李渊便率军进攻霍邑。先以轻骑挑战，宋老生统兵三万由东门、南门出而迎战，李渊军稍稍退却，宋老生认为李渊畏惧，引兵前进，离城里余而阵。将军殷开山率步兵抵挡宋老生，李建成、李世民绕向宋老生阵后，分别屯守东门和南门，断其归路。正当双方激战的时候，李渊派人高呼“已斩宋老生”。宋老生部众听后，阵势大乱，纷纷回逃，李渊军所向奋击，杀死宋老生，取得大捷。李渊乘胜挥兵登城，攻克霍邑。进军临汾（今山西临汾南），克绛郡（今山西新绛），直抵龙门县（今山西河津）。
这时刘文静从突厥赶到，同来的还有突厥大将康鞘利所带的兵士五百、马匹二千。沿河守臣也纷纷来降。同时，李渊去信招降冯翊农民军首领孙华，又遣左右统军王长谐、刘弘基及左领军长史陈演寿等统步骑六千，自梁山渡河，以待主力到达。李渊亲自率诸军包围河东，屈突通婴城固守。李渊见城坚不易攻取，意欲引兵西往长安，与将佐商议。裴寂提出如不能克河东将陷于腹背受敌之境，建议“先克河东，然后西上”，则长安必破。但李世民认为兵贵神速，应该挟胜速取长安。李渊综合两种意见，扬长避短，决定留兵围困河东，自统主力军西进，自壶口渡河，舍于朝邑长春宫（在今陕西大荔朝邑镇西北），“关中士民归之者如市”。李渊分军两路，命李建成、刘文静率王长谐等数万人屯永丰仓（今陕西华阴东北），扼守潼关，以备东方援敌；命李世民率刘弘基等数万人，掠取渭水北岸之地，对长安采取钳形攻势。
李渊在关中的亲属，听到李渊军到来的消息，纷纷响应。他的女儿李氏（嫁柴绍，后封平阳公主）在鄠县（今SX省XA市鄠邑区）散家财，招集亡命之徒，招降邻近的各路义军。李渊的从弟李神通也在鄠县起兵，部众至数千人。李渊的女婿段纶在蓝田起兵，有众万余人。其中李氏的势力最大，部下至七万人，号称“娘子军”。李世民一路西进，广招官吏、义军，待到泾阳时，亦有胜兵九万人，与“娘子军”相会，声势大张。李渊于是命李建成率永丰仓精兵，自新丰西进长乐宫，李世民回师北屯长安故城。李渊引军西行，所过之处，废去一切离宫园苑，释放宫女，归还其亲属。当时，隋炀帝远在江都（今江苏扬州），关内隋军力量薄弱；中原瓦岗军与王世充激战方酣，均无暇西顾。因此李氏父子进军神速。
大业十三年（617年）十月，李渊抵达长安，驻营春明门（长安城东面三门之一）外。合军二十余万，大修战具，围攻京城。十一月九日，唐军发起总攻，攻入长安。李渊入城，迎代王杨侑于东宫，迁居大兴殿后。李渊还居长乐宫，“与民约法十二条，悉除隋苛禁”。除杀隋右翊卫将军阴世师、京兆郡丞骨仪等，其余一无所问。于是文武将佐请李渊即帝位，李渊不听，仍在观望和等待时机。十三日，他迎立杨侑为帝，即隋恭帝；改元义宁，遥尊炀帝为太上皇。甲子日，李渊自长乐宫入长安。隋恭帝授李渊为假黄钺、使持节、大都督内外诸军事、大丞相、录尚书事，进封唐王。以武德殿为丞相府，改“教”称“令”，视事于虔化门（在大兴殿前东偏），一切事务“咸归相府”。同时设置丞相官属，以裴寂为长史，刘文静为司马，李纲为司录。李建成为唐国世子，李世民为京兆尹、秦国公，李元吉为齐国公。李氏父子完全控制了关中局势。