房玄龄的声东击西之策获得了成功，大量士兵被调去搬运泥袋，城墙的一千守军无法顾及方方面面，苏定方率领三千军队便从守军最少的东北角突破，当敌军还来不及去禀报主将之时，苏定方便率先攻上了城头，继而有更多隋军士兵跟随他杀上城头，东段城墙的防御开始迅速溃败。
尽管王君廓率军拼死抵抗，但唐军主力已经南撤，娄烦关大势已去，不到一刻钟，城门被攻进城内的隋军开启，憋足了劲了裴行俨率领骑兵杀进了关城之内，唐军伤亡大半，王君廓最终只率领数百人杀开一条血路，冲出娄烦关向南撤离，对峙了十天的娄烦关终于落入了隋军手中。
娄烦关的失守并不仅仅是一座关隘得失，它意味着太原以北再也无险可守，隋军长驱南下，随即占领娄烦郡，四天后，三万隋军进驻太原郡北部的交城县，距离太原城约百里，而上党郡的两万隋军也向北移一百八十里，进驻太原郡东部的寿阳县，依凭井陉补给后勤线，和西部的交城县互为犄角，一东一西和太原城内的唐军对峙。
这就是张铉想要的战略格局，他并不急于拿下并州，而是希望利用并州最大程度上牵制住唐朝的国力和资源，使他能够腾出手来逐步蚕食唐朝的南方利益。
八月底，也就是隋军夺取娄烦关十天后，张铉亲率一万大军走滏口陉抵达了上党县，这天上午，上党县城北城城头搭建了一座高达一丈的大木台，周围人山人海，早在五天前隋军便传出了消息，八月最后一天，隋军将在上党县公开处斩刘武周。
这个消息让整个并州都沸腾了，短短几天内，来自上党郡、长平郡、太原郡的三十余万民众几乎要挤爆了上党县城，原本计划在县衙前开斩，也不得不将行刑地转移到城楼上，以便使城外的数十万民众能够亲眼目睹这一幕。
刘武周率领十几万大军三次洗掠并州各地，给并州各郡县民众带来了深重的灾难，此时这个罪大恶极之人就被反绑着双臂，跪在木台之上，他的头发被拴在一根木柱上，后颈内插着一根木条，几天来箭伤的痛苦和巨大的恐惧极度折磨着他的和灵魂，使刘武周已经处于一种半昏迷状态，脸色惨白，头颅无力垂下。
这时，张铉出现在城头，四周响起一片震耳欲聋的欢呼声，“齐王万岁！万岁！”此起彼伏的欢呼声如海潮奔腾，响彻原野。
张铉摆摆手，待呼喊声稍稍平息，他高声大喊道“所有的父老乡亲们，今天我张铉要为你们死难的亲人报仇，用刘武周的人头来祭奠你们的亲人，让他们在九泉之下得以安息！”
张铉的话令无数人跪倒在地嚎啕大哭，他们想到了自己被残害的父母妻儿，人们再也控制不住自己的情感，愤怒呼喊声一浪高过一浪，“杀了他！将他千刀万剐！”
这时，张铉喝令道“准备开斩！”
轰隆隆的追魂鼓敲响，人群激动的到了，数十万人开始涌动上前，一万士兵拼命地维持秩序。