刘武周听说宋金刚打了败仗回来，就知道唐军一定会来攻打并州，于是他立即离城逃往突厥。李世民来到并州城，没有残杀一人。接着，李世民攻打晋阳，守将杨伏念连忙投降。
之前，侍郎唐俭和永安王李孝基一同被刘武周所擒，此时，唐俭被释放了，而李孝基已经被刘武周杀了。李孝基是李世民的堂叔，他的尸首被刘武周扔在了大街上，李世民一边安葬堂叔，一边分兵收服周边的郡县，很快，那些被刘武周所占据的州县全部归属了大唐。
宋金刚收集残兵败将，想要回兵再战，部下听说要打仗，全都吓得要死，再次逃去。没办法，宋金刚只好向北逃往突厥，不久之后，又从突厥向上谷（今河北省张家口）逃去，谁知被突厥活捉，腰斩示众。刘武周在突厥待了几个月，他想要逃回马邑，不料被突厥知晓，也把他杀了。
此前，刘武周向南进军的时候，他的谋臣苑君璋就曾进谏道：“大唐只用很少的军兵就拿下了关中。他们所向披靡，是天命所为，不是我们人力能争夺的。太原一带多险阻，如今我们率孤军深入，后面又没有援应，一旦失败的话，就会前功尽弃。不如北边跟突厥结盟，南边跟唐朝通好，这才是最好的计策。”然而，刘武周不听他的劝告，到了战败逃到突厥之时，刘武周才哭着对苑君璋说：“我没有听从您的建议，所以才到了如此地步。”
苑君璋和刘武周一起逃到突厥，刘武周被杀，突厥封苑君璋为大行台，统领刘武周的部众。后来，苑君璋引突厥攻打代州，被刺史王孝德击退，唐每每派人招降，苑君璋一再抗命，而且，苑君璋还进攻骚扰马邑和太原。后来，突厥势力渐渐衰弱，苑君璋才率领部众投降大唐，被封为安州都督和芮国公，竟然得以显贵终身。
且说李世民平定了太原，向朝廷上书报捷，等待下一步的指令。高祖命李仲文为并州总管，唐俭为并州道安抚大使，留下镇守晋阳，催促李世民班师回朝。李世民奉诏返回京城，高祖对他大加封赏，并且大宴群臣。酒过三巡，李渊对群臣道：“现在薛举、刘武周两个贼寇已经剿灭了，此外王薄、郭子和、蒋弘度、徐师顺、李义满、綦公顺等也都陆续归降，只有窦建德、王世充还在负隅顽抗，多次骚扰我边境。窦建德还虏去了朕的堂弟淮安王和朕的妹妹同安公主，朕不会善罢甘休的。现在朕打算先讨伐窦建德，再讨伐王世充。”
李世民进言道：“王世充残虐无情，人神共愤，儿臣愿意先去讨伐他，另一面跟窦建德暂时议和，让他归还我皇叔皇姑。等把王世充扫平后，再去招降窦建德，如果他肯投诚，那就最好，否则再剿也不迟。”高祖道：“窦建德如果肯归还我弟妹，我们自当先讨伐王世充了。”酒宴结束后，李渊派使臣到洺州和窦建德修好，并要求他归还淮安王李神通和同安长公主。
原来，李神通为山东安抚大使的时候，曾防守抵御过窦建德。窦建德接连攻陷邢州、沧州、洺州、相州等州城，李神通不能抵抗，跑到黎阳投奔李世勣，并且命慰抚使张道源镇守赵州。
窦建德率军来到赵州城下，张道源与总管张志昂登城坚守，但还是禁不住敌军的猛扑，最终，赵州城被攻破。张道源与张志昂两人仍在城中巷战，最终不支，一并被抓。窦建德下令把他二人斩首，国子祭酒凌敬道：“人臣各为其主，他们坚守不下，实在是忠臣。大王如果把他们杀死了，怎么能勉励自己的臣子呢？”窦建德听了这活，于是将二人松绑，留在军中，再引兵到卫州去。
李世勣派骑将邱孝刚，率二百骑兵侦探敌军的踪迹，途中跟窦建德相遇，这时，窦建德前队军兵距黎阳只有三十里了。邱孝刚善用马槊，自恃骁勇突击窦建德，窦建德败走，后军前来援助窦建德，邱孝刚寡不敌众，竟然战死了。于是，窦建德迁怒黎阳，引兵进攻，黎阳城来不及预防，突然被攻陷。淮安王李神通被掳走，同安公主是高祖的同胞妹妹，本来嫁给了大隋的刺史王裕，客居在黎阳，也被窦建德掳走了。一起被掳走的还有秘书丞魏征，他本来奉高祖的命令去招降李世勣，还没来得及回去，便也被捉了。李世勣仓促逃走，连家属都来不及带走。窦建德捉住了李世勣的父亲徐盖，威逼李世勣投降，李世勣看了父亲的信想了很长时间，最终归降窦建德。
窦建德命李世勣为左骁卫将军，仍然坚守黎阳，只是留下他的父亲徐盖为人质，并封魏征为起居舍人，礼待李神通和同安公主，之后，他又亲自督兵攻打滑州。
滑州刺史王轨正打算守城，谁知竟被怨恨他的家奴刺死，家奴提着他的首级来到窦建德军前。窦建德问明原委，大怒道：“一个家奴竟然敢杀主人，这简直是大逆不道。”随即，窦建德下令把这个奴隶处斩，然后把王轨的首级送回滑州，让家人将首级和身体合于一处安葬。滑州的官吏和百姓都对窦建德心悦诚服，当日就投降了。此后，滑州附近的州县也都望风投降窦建德，连豫州大盗徐园朗也写信来归降。
窦建德返回洺州。李世勣仍然想要归降大唐，但是又担心连累父亲，于是，李世勣找老朋友郭孝恪商量。郭孝恪道：“你刚刚归顺窦建德，如果这时只要有所行动，肯定会引起他的怀疑，你只有先立下战功，取得他的信任，然后才能计划投奔大唐。”于是，李世勣攻破嘉县，进击新乡，活捉了王世充的大将刘黑闼，并把他押献给窦建德。窦建德非常高兴，封刘黑闼为将军，并且嘉奖了李世勣。李世勣又请命攻打孟海公所占据的曹州和戴州，窦建德派大舅哥曹旦，率五万军兵，去帮助李世勣，并说自己将亲自策应。
李世勣听曹旦说窦建德也要来，就打算等他来的时候，把他杀了，并乘机夺回父亲徐盖和窦建德的土地，归附大唐。谁知等了好多天，也没有见到窦建德来。此时，曹旦又侵掠河南，人民怨声四起，李世勣忍耐不住，率部众袭击曹旦的大营，谁知曹旦事先有防备，没有漏洞可乘。李世勣知道自己不可能再留下来，就和郭孝恪带着几十个军兵投奔了大唐。窦建德听说李世勣投奔大唐了，不禁长叹了几声。属下都劝他赶快杀了徐盖，窦建德却说：“李世勣本来就是大唐的臣子，只是被我虏获，如今不忘本朝，也是一个忠臣，我怎么能忍心杀他父亲呢？”说完，窦建德就把徐盖放了。窦建德唯独与罗艺多次交兵，一直无法打败罗艺。窦建德的大将军王伏宝，非常勇猛，在军中无人能敌，因此免不了有些傲慢，侮辱众将，大家都很恨他，就诬陷他有谋反之心。窦建德信以为真，要将他斩首。王伏宝大呼道：“陛下为什么要听信谗言，斩了自己左右手呢？”窦建德认为他这是狂妄自大，还是把他枭首示众。悍将一失，窦建德接连打了几个败仗。正好，这时候大唐使臣来求和，正中窦建德的意，于是，他就把淮安王李神通和同安公主送回了大唐。
一边，窦建德又带领二十万军兵再次攻打幽州，他仗着兵多将勇，四处架起云梯，鼓动大军登城。谁知，突然背后冒出一些敌军，这些敌军非常勇猛，锐不可当。窦建德的部下在云梯上重心不稳，纷纷向后倒退。城内罗艺又亲自率精兵来攻打窦建德。窦建德仓皇失措，来不及收兵，慌忙逃走。那些踊跃登城的将士看到这样的景象，也下城逃去，脚生得长的，还有幸保住性命，稍迟一步的，就都做了无头鬼，横尸城下。
那么，窦建德背后的敌军是从什么地方来的呢？其实就是城中的二薛，薛万均兄弟。他们见窦建德大举来攻，担心不能坚守，于是，二人组建了一个一百多人的敢死队，凿了条地道，潜行出城，偷偷地跑到窦建德的后面一阵痛杀。再加上罗艺出来夹攻，就这样把窦建德一举击退了。
罗艺想要乘胜扫平窦建德大营，谁知窦建德已经召集全军，填堑出战，奋力击杀，最终，罗艺兵寡力单，杀不过窦建德，只好战败回城。没过几天，窦建德又来围城，罗艺和薛万彻、薛万均等人一边奋力防御，一边派人到渔阳请求支援。
渔阳被高开道占据，他自称燕王。高开道本是沧州人，祖上是制盐的，乘着隋朝末年北方大乱，占据北平，后来又攻下渔阳。当时，怀戎（今河北省张家口市）僧人高昙晟杀害县令，占据县城，自号大乘皇帝，封尼姑静宣为皇后，建元法纶。高昙晟派使者与高开道结为兄弟。高开道带领部众到怀戎，住了三个月后，竟然趁高昙晟不备杀了他，然后把怀戎的军兵收为己用。随后，高开道也像模像样地改历法，易服色，署置百官。
接到罗艺的求助信，高开道乐得发兵扬威，亲自率领二千骑兵去救援幽州。窦建德见有援兵到来，担心自己重蹈覆辙，于是立即撤军。罗艺出城迎接高开道，并进城设宴款待，席间，罗艺劝高开道归降大唐，高开道也非常乐意，欣然乐意。于是，罗艺派人向高祖进表，称他们愿意归顺大唐。李渊封罗艺为燕郡王，封高开道为北平郡王，都赐姓李姓，二人仍旧管辖原来的领地。
这时，因为与东边的窦建德通好，弟弟妹妹也都回来了，所以，高祖李渊就派秦王李世民率军去讨伐王世充。
王世充多次侵犯大唐，但都没有成功，他的将领罗士信、李君羡和田留安反而陆续投奔了大唐。罗士信骁勇善战，大唐封他为陕西道行军总管，跟着李世民东征。李世民让他做先锋，进攻慈涧（今河南省洛阳市新安县磁涧镇）。
王世充听说唐军来征讨，连忙派自己的兄弟子侄等人防守各城。他又担心部下叛变，于是颁布了一条非常残酷的法令：如果有一人失踪，就把他的全家杀了。然后，王世充亲自率军三万前去援助慈涧城。
李世民亲率领一队轻骑兵，侦查王世充军情，谁知半路与王世充相遇，寡不敌众，竟然被王世充的军兵团团围住。李世民英勇非凡，他左右开弓，箭无虚发，射毙了王世充部下几十个人。王世充的骁将燕琪，跃马来刺杀李世民，谁知还没走几步，只听箭镞嗖的一声，就被射中倒地，被唐军擒住。王世充知道拿不下李世民，只好带兵撤退。李世民返回大营，第二天就率领五万军兵直奔慈涧，援助罗士信。守城的敌军听说李世民来了，全都弃城逃去洛阳。李世民率军入慈涧城，随即命各位将士，分道进兵。行军总管史万宝，从宜阳南入龙门；将军刘德威，从太行东围攻河内；上谷公王君廓，从洛口切断敌军的粮饷；怀州总管黄君汉，从河阴攻回洛城。四路偏师，奉命而去。李世民亲自率大军，在邙山以北扎营，步步进逼，并且传檄各郡县，快快归降。
很快，许多州县都归降了李世民。洧州长史张公谨与刺史崔枢，举城归附，邓州当地的豪绅，也逮捕了王世充所置署的刺史，当作俘虏献给了李世民。怀州总管黄君汉一军，用水军突袭，一举攻破了回洛城，又接连攻下了二十多个城堡。
王世充之子王玄应，赶来攻打回洛城，数日不能攻破。于是，王世充只好亲自率领精兵，在青城宫列阵，与李世民交战。
李世民隔河布阵，与王世充遥遥相对。王世充远远地对李世民说：“隋朝灭亡，大唐占据关中，郑帝占据河南（此时王世充已废掉隋皇泰主，建立郑国称帝），我们没有入侵你们，为什么你们率军来征讨，这是什么意思？”李世民让宇文士及回答，道：“四海以内，都奉大唐是正统，只有你还执迷不悟，因此前来问罪。”
王世充又说道：“天下大乱已经很多年了，长安洛阳，各有分地，如果我们能共同撤兵，彼此和解，那不是更好吗？”李世民又让宇文士及回应道：“我只是奉诏拿下东都，没有诏令让我讲和，如果你能解甲归降，就可以保全富贵，否则我们就决一胜负，不必多言！”王世充一直沉默着不回话，两军相持到晚上，各自退归。
这时，显州（今河南信阳市西北）总管田瓒带着所有部将和二十五州城归降大唐。田瓒是杨士林的长史，杨士林击败朱粲后，奉表归顺大唐，并献上汉东四郡版籍，于是，高祖封杨士林为显州道行台。然而，杨士林表面上归顺大唐，暗地里却南通萧铣，北结王世充。
大唐正打算派兵去征讨杨士林，谁知，杨士林已经被田瓒杀了，然后，田瓒投降了王世充。王世充封田瓒为显州总管。田瓒听说唐军大举来攻，多次战胜王世充，于是，田瓒又带着属地归降大唐。由于显州降唐，王世充派遣王弘烈镇守的襄阳（今湖北襄樊市）与王世充的大军被割断。此时，大唐总管史万宝率军进攻甘泉宫，王君廓又率军进攻轘辕，河南一带恐慌不安，各州县接连投降大唐。
李世民行军打仗有个习惯，他每天晚上都要检查将士。这天晚上，降将寻相突然不见了，他带来的河东军兵很多也逃亡了。寻相和尉迟恭是同时归降李世民的，现在寻相一逃，尉迟恭当然很有嫌疑。屈突通和殷开山等人将尉迟恭拿下，入帐劝李世民，道：“尉迟恭骁勇绝伦，留下他恐怕会有后患，不如趁早杀掉，去除祸根。我们把他捉来了，听候您的处决！”李世民很惊讶，说道：“你们看到寻相跑了，就怀疑尉迟恭吗？如果他要跑，一定不会在寻相之后。现在，尉迟恭还在这里，就足以说明他没有叛变的意思。”说完，李世民就来到帐外，亲自为尉迟恭松绑，又引他入卧室内，取出一锭黄金给他，说：“大丈夫要有气量，小小误会不要介意。如果你一定要走，这点金子就可以作为你的路费，聊表我们曾经一起作战之意，我不会因为谗言而加害于你的。”
尉迟恭听了这番话，连忙拜跪，感激涕泣地说：“大王如此厚待我，我尉迟恭也不是草木，感激不尽，定当誓死为大王效力，只是这黄金确实不敢收。”李世民扶他起身，道：“将军不嫌弃肯留下来，这点金子就收下。”尉迟恭仍然推辞，李世民只好说：“留着以后赏给你。”尉迟恭拜谢而出。
第二天，李世民率领五百骑兵巡行战地，又遇到王世充率军偷袭，敌军有一万多人，为首的是单雄信，他手持长槊，向李世民刺过来。李世民连忙拔刀招架，但是刀短槊长，李世民正是手忙脚乱，突然，一员大将杀来，从旁边横戳单雄信，单雄信坠马，被他的部下救走。来将正是尉迟恭，他护住李世民，杀出重围，转身又率骑兵迎战，冲入王世充阵中，左挑右拨，无人能挡。这时候，屈突通也带兵赶到，来援助尉迟恭，一番激战，杀了敌军一千多人。王世充落荒而逃，留下大将军陈智略断后。尉迟恭追赶过去，顺手一槊，将陈智略击落马下，陈智略被唐军活捉。随即，尉迟恭收兵回营，进见李世民。
李世民连忙起身迎接，对他说：“大家都怀疑你会叛变，我就认为你不会，没想到你这么快就证明了诚意。”于是，李世民赐尉迟恭一盒金银，尉迟恭这才收下。当下，李世民检验俘虏，除陈智略外，还俘获了六十名排矟兵，这些兵士都愿意归降。李世民把排矟兵安插完毕后，敌将张镇周也来军营投诚，李世民都推恩录用。此后，周围许多州城闻风而至，都争相来归附世民。其中，杜才干以濮州归降，杨庆以管州归降，魏陆以荥州归降，王雄以阳城归降，王要汉以汴州归降，徐毅以随州归降，接连是许、亳一带十一个州县，都来请降。
转眼间，已经是武德四年，梁州总管程嘉会也率部众来归降。李世民又招抚了淮南杜伏威，一同围剿王世充。杜伏威本是齐州人，与同乡辅公祏，亡命为盗，在江淮一带出没，后来，他占据历阳，自号吴王。等到李世民招抚，杜伏威就归附了大唐。杜伏威派部将陈正通和徐绍宗两人，率二千精兵，前来援助李世民，攻下了大梁（今安徽省和县）。
李世民又挑选了一支十余人的骑兵，全都穿着黑衣玄甲，分为左右两队，命秦叔宝、程知节、尉迟恭、翟长孙四将为偏帅，自己为统帅。每次作战，世民的玄甲兵就作为冲锋，无坚不摧。
有一次，屈突通、窦轨等人在巡视军营时，被王世充袭击，很是危急。李世民听说后，连忙率领玄甲兵去营救。玄甲兵冲入敌阵，就像苍龙搅海一样，一时间骇浪奔腾，杀得王世充丢盔弃甲，狼狈不堪，逃回了洛阳。
王世充的儿子王玄应，因为一直没有攻下回洛城，于是移师虎牢。后来，听说王世充战败归来，他也拼命杀回了洛阳。
李世民派宇文士及返回长安，奏请高祖出兵围攻东都。高祖准奏，并对宇文士及说：“回去跟你的秦王说，如果攻下了洛阳，那些乘舆法物、图籍器械等要奉给朝廷，其他的美女和财物等都可以赐给将士们。”宇文士及奉命，把高祖的话传给李世民。于是，李世民移军青城宫，还没把大营扎好，王世充就率领二万精兵，在谷水边据险列阵，唐军一看这阵势都有些畏惧。
李世民在北邙山扎下大营，登高遥望，对将士们说：“看来敌军是倾巢而出，孤注一掷，我今日如果能破敌，那么敌军就彻底完了。”随即，李世民召屈突通入帐，让他率五千军兵渡河骚扰王世充。临行前，李世民嘱咐他说：“一旦跟敌军交锋，马上燃起狼烟，我一定会亲自接应你们的。”
李世民命令将士穿着铠甲待命，自己瞭望对岸。很快，对岸飘起了一缕青烟，于是，李世民一跃上马，冲了出去。将士们跟着渡河，鱼贯而进，踊跃渡河，与屈突通合力奋战。李世民想要知道敌阵情况，于是独自率领几十名骑兵冒险冲入敌阵，他从阵前杀到阵后，所向披靡。突然，前面有长堤阻住前路，李世民只好转头，仍然从敌阵中杀回。
那时，人人都在奋战，不能顾及彼此，李世民与骑兵失散，随身只有邱行恭一人。好几名王世充的骑兵来追击李世民，并且用强箭射杀李世民。然而，李世民身上好像有神灵护佑一样，箭都没有射到他，却射中了他的马，马儿险些儿将李世民掀翻。幸亏李世民已经先跳下马，才没有摔倒，但是，那马匹却死了。邱行恭连忙回马接箭，箭一到手，百发百中，接连射死了好几个敌军。追兵不敢再前行，于是，邱行恭下马，请李世民上马，自己在马前步行，手执长刀，又砍死了好几名敌人。邱行恭奋勇突围后，李世民这才回到大军，再次指挥作战。
王世充指挥将士拼死搏斗，两下里鼓声大震。两军又混战了三四个时辰，忽进忽退，唐军屡次冲杀突击，王世充终于支持不住，领兵退去。李世民乘胜追杀，直奔东都。这时，罗士信已经攻下了千金堡，王君廓也攻下了虎牢城。捷报传来，李世民兴奋地说：“王世充失去两座险关，已经是瓮中之鳖了，洛阳虽然坚固，还怕攻不下吗？”
于是，唐军四面围攻洛阳城，昼夜不停。谁知城中守御非常牢固，大炮打出的飞石有五十多斤重，能打到二百步开外；强弩射出的箭像车的辐条一样粗，箭头像刀斧一样尖利，能射到五百步那么远。唐军被大石和弓箭击着，全都立刻倒地。李世民射书招降，守将几次想要做内应，都被王世充察觉，杀死了。王世充的部下御史郑颋想要削发为僧，却被王世充怀疑，王世充将他斩首示众。李世民多次攻打，都没有成功，于是又给王世充发出降书，晓以利害，也不见回信。
这时候，大唐的将士都有些疲惫思乡，总管刘弘基请求李世民班师还朝，李世民摇头，说道：“我们大举来攻打敌军，为的就是一劳永逸，永除后患，现在东边的州城已经全部望风归降，只剩下洛阳一座孤城还没有攻下。我料想他也不能坚持多长时间，我们很快就能大功告成，怎么能撤兵呢？”于是，李世民下了一道军令：“洛阳一日不破，大军一日不还，敢言班师者，斩！”将士们都不敢再说班师之事了。
后来，李世民接到高祖密诏，让他退军。李世民派封德彝入朝，嘱咐他面奏高祖：“王世充只剩下一城，现在穷途陌路，朝夕之间就能攻下。如果我们现在撤兵，敌军又会重新振兴，相互勾结，以后就更难拿下了。”封德彝领命离去。这时，李世民突然接到东部的警报，说窦建德率十万大军前来援助洛阳，管州被攻陷，刺史郭士安遭害，荥阳、阳翟等县也都失守了。窦建德的大军水陆并进，很快就要到达这里了。唐军都非常惊慌，就连李世民也很是犹豫不决。正在疑虑的时候，有人报告：“夏主窦建德遣人送信，现在来使正在外面等候。”李世民说道：“请他进来。”