隋主杨侗在东都称帝，本来就是一个傀儡，毫无权力，由王世充专掌朝政。王世充起初假装谦恭，后来，王世充擅自杀了元文都，又战胜了李密，于是就非常放肆，渐渐露出了逆反之心。
到了皇泰（隋主侗年号）二年三月，王世充竟然自称郑王，加九锡（臣子服饰最高规格）。一个月后，他把隋主杨侗幽禁殿中，自制天子车驾入宫，称起了皇帝，并改年号为开明，废掉隋主，封杨侗为潞国公。王世充立儿子王玄应为太子，王玄恕为汉王，其余的兄弟宗族等十九人皆封为王。
这时，程咬金已经改名为程知节，自从李密兵败后，他就与秦叔宝一同归降了王世充。一天，他对秦叔宝说：“王世充这个人器量狭小，喜欢胡说八道，种种行为就像个老巫婆，难道还能成为拨乱反正之主？我们跟着他没有前途，应该找机会离开。”秦叔宝也非常赞同。
这时候，刚好唐骠骑将军张孝珉等人，率军来攻王世充，王世充率程知节、秦叔宝等人到九曲城，迎战唐兵。两军还没有交锋，程知节就和秦叔宝两人带领几十名骑兵突然向西跑到一百步开外，然后下马，远远地对王世充说：“承蒙您的厚待，我们很想报效，但是您太爱猜忌，并听信谗言，我们担心惹祸上身，不便久留，因此告辞了。”
王世充望见他们离去，连忙派人去追，哪知两人早已上马，扬鞭驰去，竟然去了唐营。这下，王世充惊得瞠目结舌，他很担心部将效仿，心想还是返回东都，对部将多加封赏，或许可以稳住军心。于是，王世充收兵不战，回到东都去了。
回到东都后，王世充就逼隋主杨侗下禅位诏书，隋主不肯，王世充就把隋主软禁了。王世充在外面仍然假装是受禅，并做出三表陈让和敕书敦劝等一系列假象，其实这都是他一个人做成，隋主毫不知情。
裴仁基和儿子裴行俨本来是李密的部将，后来被王世充擒获，投降了东都。裴仁基为尚书，儿子裴行俨为大将军，两人都颇有威名，因此，王世充对他们父子有所猜忌，而他们二人也心不自安。后来，裴仁基父子与左丞相宇文儒童等人密谋，想要杀害王世充，再拥立隋主杨侗为帝。谁知，有人将此事报知王世充，王世充立即将他们二人杀掉，并灭了三族。
为了斩草除根，王世充派侄子王仁则和家奴梁百年，带着毒酒，去毒杀隋主。隋主杨侗一直被幽禁在含凉殿，不能自由行动，只能每天祈求神佛保佑。等到王仁则等人来逼命时，杨侗最后拜了一次佛，说道：“从今以后，希望不要再生在帝王家。”说完，他硬着头皮喝下毒酒，一时还没有断气，被王仁则用丝带勒死。奇怪的是，潞国公杨侗被毒杀的时候，酅国公杨侑也在长安病死了。
因为没有平定群雄，唐高祖李渊剿伐安抚并施，想一统天下。忽然，淮安有个土豪叫杨士林，聚集了一万多人去袭击伪楚。自称楚帝的朱粲，性情残暴不仁，部众都对他很有成见，现在突然听说有外兵攻打过来，朱粲的部下一下子逃了一大半。
朱粲率领亲兵来到淮源，跟杨士林交战，没多久，朱粲又战败了，连忙逃到菊潭（今河南省西峡县丹水镇）去了。这时，朱粲的手下已经不到一百人，眼看着当不成皇帝，他只好派人入关，向唐主李渊请降。于是，李渊封朱粲为显州道行台，加封楚王，并派散骑常侍段确执旄节，前去慰问。
段确来到菊潭，朱粲准备美酒佳肴来款待他，对他非常殷勤。这位段钦使很喜欢喝酒，对着杯中物，就像蚂蚁趋附羊肉一般，一杯还没喝完，又来一杯，接连喝了数十杯，不知不觉就发狂了。他没有把嘴巴管好，当下笑着对朱粲说道：“听说你喜欢吃人肉，究竟人肉是个什么味啊？”
朱粲听了这话，就知道他是有意嘲笑，心里很是愤怒。原来，朱粲之前确实吃过人肉，而且他专门掳妇女和婴孩来吃，他曾对手下说：“世间最美味的食物莫过于人肉了，只要有人，哪里还会挨饿呢！”因此，他每攻破一个州县，就会把粮食烧毁，一点都不觉得可惜。听到段确嘲笑自己，朱粲不禁勃然大怒，道：“人肉最美，喝醉酒的人肉，那就更加可口了，就像糟制的猪肉一样。”段确大怒，骂道：“狂贼狂贼！你今天来归降，不过就是我们唐主的一个奴隶，你还想吃醉人肉啊？”
这时，朱粲也喝多了，他把眼睛一瞪，道：“把你吃了又怎样！”话一说完，朱粲就派左右手下拿下段确。段确的随从只有几个人，根本招架不住，很快就被他们陆续捆住。朱粲一刀一个，把他们全都杀死了，然后，朱粲吩咐军士把他们洗涮干净，煮熟后大家饱餐一顿。然后，他又索性将菊潭县的百姓全都杀了，然后跑到东都投降王世充，王世充封他为龙骧大将军。
听说段确被煮着吃了，唐高祖顿时非常生气，想要立即发兵讨伐朱粲。随即，李渊又接到军报，说朱粲已经投奔王世充去了。于是，高祖召集群臣商议，群臣都认为王世充那边势头正强，短时间内是不可能剿灭的。群臣提议先储备粮食，养精蓄锐，等到兵精粮足再出师。
于是，高祖制定了租庸调法。此法以人丁为本，按田地多少收租，按人头服徭役，按户缴纳实物税，再根据实际情况酌情定额。高祖又编制了十二支军队，分别驻扎关内各州府，部队都以天星为名。每支军队设正、副将领各一名，没有战事的时候监督耕作，有事就出战。渐渐地，大唐兵精粮足，国力强盛起来。
这时，宇文士及还在济北，他妹妹曾嫁到大唐为昭仪，很得高祖的欢心。高祖一直对宇文士及很好，还封他为上仪同。还有以前的隋臣封德彝，他跟宇文士及同时入朝，高祖刚开始不是很喜欢他，觉得他很奸诈不忠诚，但是，封德彝察言观色，迎合高祖，谋求仕进，因此，很快被高祖封为内史舍人，后来又升迁为侍郎。
唯独户部尚书刘文静，最初因为辅佐高祖创业有功，很得高祖宠信，后来，泾州一战，因为违抗命令导致战事失败，刘文静被定罪削去官职。后来，刘文静跟随李世民平定陇西之后，被恢复爵位，封为尚书。
刘文静自恃有才，觉得自己官职低，很不满意。并且，因为裴寂被封为右仆射，官职比自己高，但是功劳却没有自己大，于是更觉得愤愤不平。平时，刘文静和裴寂谈论政事，多次产生摩擦，两人生出嫌隙。这时，刘文静家里多次出现怪物，刘文静的弟弟刘文起就找了个巫师驱邪，巫师披着头发含着刀，念咒画符非常热闹。刘文静有个小妾因为失宠心生怨恨，竟然让兄长上书，诬告刘文静兄弟大兴巫盅之事，想要谋反。
于是，高祖让裴寂前去查明真相，这真是冤家碰着对头了，裴寂将刘文静屈打成招，打入大狱，定了死刑。秦王李世民向高祖求情，说道：“以前在晋阳，刘文静第一个想出起兵造反的大计，告诉了裴寂，裴寂才依计行事。后来，入关后，刘文静和裴寂两人受到的恩宠悬殊很大，因此刘文静有怨言是可以理解的，至于谋反的事肯定不会有的，应该赐恩赦罪，这才对得起他当年献计的功劳啊！”
听了这话，高祖一直犹豫不决，这时，裴寂又上殿奏道：“刘文静才华谋略过人，但是为人阴险狡诈，如今天下未定，如果留此人，必为后患。”高祖竟然点头同意，随即下令拿下刘文静兄弟，推出斩首。刘文静临刑前长叹道：“飞鸟尽，良弓藏。这话果然不假啊！”刘文静死后，裴寂更加得高祖宠爱。
忽然，从晋阳传来急报，说刘武周多次攻打并州，乞求派兵增援。于是，高祖命裴寂为晋阳道行军总管，辅助太原都督齐王李元吉坚守并州。
裴寂奉命离京，正好碰到一队人马，押着一个草头王，入京献俘。这时，城门内外，一出一入，到处是金戈铁马，旌旗飘飘，十分威武。
这俘虏就是河西的李轨。李轨本是凉州人，他乐善好施，乡亲们都很拥戴他，被任命为武威司马。自从看到薛举占据金城，称霸一方后，李轨也想要乘势称雄。于是，李轨结交各路英雄和西北胡人，攻下内苑城，自称凉王。
薛举派军兵攻击李轨，反而被李轨的军兵打败。李轨接连攻下张掖、敦煌、西平、枹罕等州郡，占据河西一方。
李渊想要征讨薛举，派人传信李轨，称他为从弟，让他帮助。李轨很是高兴，派弟弟李懋入朝受命，李渊封李懋为大将军，封李轨为凉王，兼凉州总管。
哪知李轨已经僭号称帝，改年号为安乐，唐使张俟德来时，李轨居然南面召见他，张俟德据理力争，他才稍微礼貌些。李轨私下与群臣商议，道：“李氏已经占据天下，大势所归，我不如削去帝号，接受他的分封吧。”
尚书右仆射曹珍道：“我们大凉已经自为一国，为什么还要再受他人的册封呢？如果一定要以小事大，不如学萧詧事魏的例子，对梁称帝，对魏称臣。”李轨点头同意，道：“这个计策非常好。”于是，李轨作表谢唐，派左丞邓晓跟张俟德一起入朝奉表。
一看表文，开头二句是“皇弟大凉皇帝李轨，奉表兄大唐皇帝陛下”，高祖不由地非常气愤，说：“李轨称朕为兄，那就是明摆着不守君臣之礼了！”
当下，高祖把邓晓打入打牢，并传书吐谷浑，让他起兵攻打李轨。吐谷浑为鲜卑支族，起源于西域，隋朝时，吐谷浑时叛时服，变乱频繁。隋炀帝曾派兵征讨，部落酋长伏允兵败，逃奔党项。伏允有个儿子顺，曾在隋朝做质子，留居长安，隋末大乱，伏允收还故地，唐高祖与他连和，让他的儿子回去，伏允非常高兴，表示愿意向唐进贡。因此，吐谷浑得到高祖的命令后，酋长伏允就立即发兵进逼河西，李轨不得不出兵防御，国内难免空虚。
李轨有个部将名叫安修仁，被李轨封为户部尚书，他与吏部尚书梁硕不和，李轨的儿子李仲琰也因梁硕居功自傲，跟他不和。于是，李仲琰跟安修仁勾结，诬陷梁硕，李轨听信他们的话，竟然将梁硕毒死了。梁硕经常辅助李轨，多有功劳，自从梁硕被毒死后，其他臣子都很疑惧，生了二心。安修仁的哥哥安兴贵在唐为官，经常跟安修仁通信，因此得知河西的虚实，于是，安兴贵上书唐廷，愿意奉诣到凉州招降李轨。
高祖问安兴贵：“李轨占据河西，自称皇帝。你靠口舌就能把他劝服吗？”安兴贵答道：“臣老家在凉州，在当地颇有威望。弟弟安修仁现在在李轨手下做事，很得李轨的信任，如果李轨肯听臣劝说，那就好办，否则臣就伺机把他杀了，也能成事。”
于是，高祖派他西行，没几天就到了凉州，经过安修仁替他安排后，安兴贵被李轨封为左右卫大将军。安修贵劝李轨，说道：“凉州偏僻，财力凋敝，虽然有十万军兵，无险可守，很难成事。且凉州西北与戎狄为邻，不是跟我们同族，一定是我们的隐患。如今唐王室占据京师，平定中原，战必胜，攻必取，一统天下就在眼前。如果我们现在以河西之地归降大唐，大唐必定会世代封我们爵位，就是汉朝的窦融，也不能跟我们相比的。”
李轨迟疑一会儿，愤愤不平，说道：“唐王室在东边称帝，我难道就不能在西边称帝？你今天从东而来，莫非是为唐做说客的吗？”安兴贵连忙解释道：“古人有言，‘富贵不归故乡，如衣锦夜行。’我是因此而回来的。如今我们兄弟俩都受到你的器重，委以重任，我怎么敢有异心呢？这只是我的愚见，说说而已，可行与否，仍由您来决定！”李轨这才没说什么。
安兴贵退出，随即与安修仁暗地里联络西北胡人，里应外合，攻破了大凉城。李轨战败被擒，被安兴贵兄弟押入京城。高祖觉得李轨太倔强，下令把他斩首西市，并封安兴贵兄弟为左右武侯大将军，各赐田宅和财物。河西平定，总计李轨兴亡，只有三年。原大凉左丞邓晓被释放出狱后，入朝谢恩，手舞足蹈地向高祖表示庆贺。高祖非常严肃地说：“你不是凉国的使臣么？怎么你国亡主死都不感到伤心，反而来取悦朕，真是奸佞啊！你是李轨臣子，这么不忠心他，难道肯忠心朕么？”话说完，就把邓晓斥退，邓晓红着脸退下了。
关西基本太平了，高祖正要锐意东征，偏偏一波才平，一波又起，毗陵（今江苏省常州市）又冒出个沈法兴，自称梁王，李子通也在江都自称吴帝。最猖獗的是刘武周，他多次侵犯并州，齐王李元吉抵挡不住，李渊派行军总管裴寂前去增援，以为他老成练达，必定能取胜，谁知他一败涂地，反而把晋州以北的城镇全都丢掉了。齐王李元吉听说战败了，吓得要死，连夜携妻妾奔还长安，好好一座太原城，平白地让给了刘武周，险些儿将河东一带也拱手让人了。
话说刘武周怎么这么厉害呢？刘武周祖籍瀛州，后来跟着父亲刘匡迁居到马邑。刘武周从小善于骑射，喜欢结交各路豪杰。他的哥哥刘山伯曾批评他道：“你什么人都结交，肯定会给我们家带来灭门祸患。”
刘武周来到洛阳，投入隋太仆杨义臣帐下，后来，又跟随隋炀帝征辽，被封为校尉。不久，刘武周返回马邑，太守王仁恭欣赏他的骁勇，让他统领帐下军兵，侍奉左右。时间一长，刘武周与王仁恭的侍女有染，他担心事发被诛，索性先下手为强，于是，刘武周暗地里结交当地地痞流氓，合谋把王仁恭杀了，然后提着脑袋在城中招摇，却没有人敢动他分毫。
后来，刘武周开仓放粮，召集乌合之众一万多人，自称太守。隋雁门郡丞陈孝意、虎贲郎将王智辩一起去攻打刘武周，都被他击败。刘武周还乘胜杀进汾阳宫，抢了大批宫女献给突厥，突厥回赠他很多良马，还赠了一面狼头大旗，立他为定扬可汗。于是，刘武周干脆自称皇帝，改年号天兴。
当时，易州（今河北省易县）贼帅宋金刚有一万多人马，并与魏刀儿勾结。魏刀儿被窦建德灭掉后，宋金刚前去增援，也被窦建德击败，于是，宋金刚带领残众投奔刘武周。刘武周大喜，封他为宋王，委以兵权，宋金刚很是感激，愿意为刘武周效劳。刘武周有个妹妹到了适婚年龄，正在找对象，宋金刚休了糟糠之妻，毛遂自荐，刘武周也有意笼络，就把妹妹嫁给了他。
宋金刚劝刘武周进攻晋阳，向南争夺天下。刘武周封他为西南道大行台，统兵三万向南出击，一连攻下了榆次、介州，接着又进攻并州及太原。唐左武卫大将军姜宝谊、行军总管李仲文率兵前去剿杀，都被宋金刚擒获。姜宝谊被杀，李仲文逃回。
齐王李元吉一再向高祖告急，高祖派裴寂前去增援。裴寂率军来到介休，在度索原驻营，饮用山涧溪水。宋金刚把上流的水遏住，裴寂的大军无水可饮，只好到别处驻营，仓促间被敌军偷袭，竟然全军覆没。裴寂花了一天一夜的时间，逃到晋州，李元吉很是担心，召司马刘德威商议，刘德威也没有办法，勉强说了一个“守”字。李元吉假装嘱咐刘德威道：“你率老幼百姓守城，我领强兵出战。”刘德威唯唯听命。谁知，李元吉借口出兵，夜里带着妻妾，一溜烟逃归长安了。
于是，宋金刚攻入晋州，刘武周攻入并州及太原。行军总管裴寂，节节败退。敌军直逼绛州（今山西省新绛县一带），攻陷龙门，没过多久，又攻陷浍州，浍州附近的虞州和泰州局势也变得很紧张。裴寂不但没有设防，反而不断催促州吏将城外的百姓赶到城内，并放火烧了他们的家产。百姓怨声四起，都想造反。夏县县民吕崇茂，乘势聚众造反，响应刘武周，自称魏王，四出劫掠。裴寂接连收到警报，只好出兵剿伐吕崇茂，偏偏部下都不耐战，一经对垒，就想逃跑。吕崇茂率军杀来，裴寂大军败退，纷纷逃散。裴寂也飞马逃回，没办法只好再上奏求援。高祖一面命令永安王李孝基和陕州总管于筠，内史侍郎唐俭等人去帮助围剿吕崇茂，一面又发出手谕，让关中守将严行防御，所有河东一带暂时放弃。
这道手谕一下，惹得秦王李世民非常生气，当即愤然上奏，道：“太原是我们霸业的根基，国家的根本。河东物产丰富，京城全靠这里供给，如果我们因为打了几次败仗，就轻易放弃，恐怕河东不保，关西也保不了多久了。儿臣愿意领三万精兵，去征讨刘武周，一定能拿下贼人，收复汾阳和晋阳。”于是，高祖调集关中所有的精兵良将，归李世民调配，征讨刘武周。
武德二年十一月，李世民率军来到龙门，正好碰到河水冻成了坚硬的冰，于是，大军踏冰渡河，很快到了柏壁，柏壁前方就是敌营。敌军的主帅就是宋金刚。李世民选择了一处险地，驻扎军营，坚守不战，只是传令各郡，让他们补给军需。各郡官吏都在观望，听说李世民是主帅，都争着来趋附，并陆续运来粮食。
李世民休兵秣马，只命令小部分军兵骚扰敌营。敌进我退，敌退我进，惹得宋金刚非常生气，率部众来攻击。李世民仍然按兵不动，只用硬弓强矢接连射去，一名骁将应声倒地，没办法，宋金刚只好退兵。李世民照旧骚扰。
这时候，李世民接到夏县战败的消息，说永安王李孝基等人全军覆没，李孝基等人都被掳去。李世民非常恼怒，大声吼道：“贼人有这么厉害吗？等我亲自去会会！”话还没说完，有两位将军入帐，道：“此处不方便转移军队，只要由末将等人前去，就可以把他们拿下。”李世民一看，原来是兵部尚书殷开山和行军总管秦叔宝，便大喜道：“二位将军既然愿意一起去，那肯定比我去还要好。现在敌军已经获胜，肯定会撤军返回的，你们最好是中途袭击，攻他无备，一定可以得胜。”
两位将军领命出发，途中得到消息，原来，刘武周的部将尉迟恭、寻相帮助吕崇茂夹攻唐军，才导致李孝基等人战败。敌军已经捉了李孝基等人向浍州去，快要到美良川了。两位将军当下命令大军快速前行，赶到美良川的时候，尉迟恭等人率领人马正渡河，刚渡了一半，两位将军立即指挥部队两边夹击，就算尉迟恭再怎么骁勇，也是没用，不一会儿，他的部下就溃不成军了。
唐兵东劈西斩，前刺后戳，杀了敌军二千多人才收兵。然而，尉迟恭等人还是逃走了，李孝基等人也没有救回。两位将军担心穷追会有意外，于是撤回大营。李世民给两位将军记了大功，但还是坚持据守不战。将士们多次请战，李世民解释说道：“宋金刚孤军深入，兵精将猛，速战速决对他有利。我军养精蓄锐，就是为了避开他们的锐气，等他们粮食吃完了，自然就会撤军的，到那时我们再去追击。”从此，两军相持，竟然持续有一年多的时间，直到武德三年。
刘武周率军攻打潞州，被唐将王行敏击退，转而攻打浩州，又被唐将李仲文、张纶等击走，接连吃了败仗，军威大挫，伤亡惨重。宋金刚的锐气也渐渐地衰弱，粮食供给不来，只好率军向北逃去。李世民带兵追击，一天赶了二百多里，来到高壁岭，却发现只有少许敌军，不值得唐兵一扫。将士请求驻军等粮，李世民没有答应，饿着肚子一路赶到雀鼠谷，这才追上敌军。宋金刚边战边逃，跟唐军交锋了八次，都被李世民杀败，连俘带斩敌军好几万人，宋金刚落荒而逃。李世民已经三天没有卸下盔甲，两天没有吃饭，军中只剩下一只羊，他命令把羊煮了分给将士吃，稍稍缓解饥饿之后，继续领兵向介休追去。
宋金刚逃到了介休城，还有军兵二万人。看到唐军杀来，宋金刚大军开门出战，背对着城列阵。李世民让前军应战，自己率后军绕到敌军后面，夹击宋金刚。宋金刚大败，骑马逃走。李世民追击了几十里，杀了敌军三千人，而尉迟恭、寻相等人还在坚守介休城，于是，李世民派人前去招降，两人当即归降。尉迟恭的部下有八千人，李世民把他们分散到各营中，并封尉迟恭为右府统军。屈突通担心尉迟恭叛变，多次提醒李世民要小心提防。李世民道：“我这才刚刚喜得良将，您就不要继续说了！”
没过多久，陕州总管于筠从敌营逃回，他向李世民报告，说刘武周在并州，现在已经穷途末路，想要向北逃去。李世民立即率军向并州进发。唐军来到城下，城门已是大开，刘武周早出城逃走了。