但是晋绥军自中原大战之后便元气大伤，又经过抗日战争的一轮打磨更是损兵折将。阎锡山虽然倾巢而动，但三个集团军总计也不过25个团3万多人，又受限于道路狭窄。不得不分兵三路，越过汾河。其中，南路孙楚统率第三十四军4个师，由介休直奔孝义；中路由赵承绶率第三十三军2个师及2个保安总队，由平遥出击；北路王靖国率第六十一军3个师，由文水南下，以解汾阳之围。
虽然仅从兵力上来看，晋绥军所部并不占优势，但是阎锡山自认陈赓与胡宗南已经激战数月，自然兵困马疲，王震的部队经过中原突围也是元气大伤。而晋绥军自内战爆发以来，除了上党战役一直以来还未经大战，此刻以生力军的姿态进击，即便不能围歼解放军，至少也能逼迫对方不战而走。因此1947年1月19日，阎锡山便发出指令：着三个集团军“组织前敌联合总指挥部，速向当面共军集中兵力攻击而歼灭之。”20日又指令3个攻击集团“敌人主力跑到哪里，你们就尾追到哪里”、“有计划歼敌”、“失时者杀无赦”。指望着21日下午夺回孝义，为汾阳解围。
但是声势吓不倒人，陈赓和王震在山西抗战多年早已对晋绥军长于守城，不善野战的特点洞若观火。因此仍决定集中主力，在运动中打击晋绥军的一翼。晋绥军三路部队之中，赵承绶的中路军虽然兵力最弱，但是所属的两个保安总队却多为日军残留人员。
1946年初，中国大陆各地投降后的日军无不背负着战败的自卑感和罪恶感，沮丧地接受遣返和等待遣返；但惟独由第二战区受降的驻晋日军，却在紧锣密鼓中组建“残留”部队。除了阎锡山期望借助日本军队的力量对抗中国**人之外，日本华北派遣军参谋长高桥坦、第一军司令澄田睐四郎、参谋长山冈道武等都有相类似的计划，他们不甘心失败，企图“卷土重来和确保海外日本人势力”，他们利用阎锡山有可能留用日军对抗**军队的企图，计划在山西“残留”，妄图保留独立的日军，辅之以经济、政治、文化、情报和社会残留，把山西变成日本的殖民地，用战胜国的资源服务于战败国的经济复兴，等待国际局势变幻，把山西作为日本重新在中国大陆扩张的前进基地。
经过秘密谈判，双方达成协议：将投降后的日本军人编成部队，置于阎锡山的编制；阎锡山对“残留”下来的日军提供优越待遇，军官在军衔上提升三级，月发双饷，土兵全部给予军官待遇。日本战败后，由于数百万海外驻军遣返回国，日本的经济又在战争中遭到毁灭性打击，日本国内出现了经济崩溃，到处是失业军人。回国的生存压力加上高层的欺骗宣传，使得许多日军官兵选择了留在中国，充当所谓的“志愿人员”，到1946年4月，残留的日本军人已有6600多人。
但是残留日军有组织地保留武装并投入战斗，很快便引起了各方的关注。在晋绥军挑起的上党战役中，八路军就俘获了很多奇怪的俘虏：他们虽然穿着国民党的军服，可是都听不懂中国话，此事引起“军事调处执行部”的关注。1946年2月，军调部太原执行小组**方面代表，专门到原日军独立步兵第十四旅团元泉馨残留部队驻扎的“东沁线”视察；3月，军调部美方代表、美国总统杜鲁门特使马歇尔与国民党代表张治中、**代表周恩来到太原视察，国、共、美三方小组在山西调停内战时，陈赓将军作为**代表严正指出，国民党部队正在利用战败的日军官兵打内战。国民党代表对此百般抵赖，美方代表则表示怀疑。为揭露国民党的这一罪恶行径，陈赓邀请三方代表前往晋军前线阵地一探究竟。上山后，陈赓亲手将一名身穿国民党军装却只会说日语的日本兵揪到三方代表面前，用铁的事实揭穿了晋绥军的阴谋。
为避免违反《波茨坦公告》而引发国际问题，残留组织者采取将残留日本军人“就地复员”，以伪造技术人员身份和名册的办法，瞒天过海，继续残留。1946年5月和6月里，残留日军部队特务团、铁路修复部队编为山西保安总司令部。由于残留活动的组织实施，侵华日军第一军司令澄田睐四郎等一大批战犯没有受审，而是摇身一变，成了阎锡山的军事顾问。第一军参谋长山冈道武有专门设立的“武顾问室”，第一一四师团师团长三浦三郎有专门设立的“蒲研究室”，独立步兵第十四旅团旅团长元泉馨有专门设立的“元副总司令办公室”。就是这些军国主义分子，在日本投降后受到了阎锡山的礼遇，在中国仍旧住着公馆，坐着小车，享受着优厚待遇。残留日军在主体总队之外，还组建了由日军军官任总司令、总教官及部队骨干的机甲队。数百名日本官佐被派往阎锡山的部队担任教官，对士兵进行日式训练。日本军人则唱着“将士的红领章，恰似万朵樱花开”的旧时军歌在三晋战场之上继续参加与中国人的战争。
从某种程度上来讲由残留日军所组成的部队的在统一控制和战斗力各方面，都没法跟由曾经席卷东亚大陆的旧日本陆军相提并论。但是当时日军以日本民族的复兴作为残留的理念，把残留说成是要成为日本复兴的基础，叫做“义勇军”，因此大多数残留在山西的日本军人都抱着绝地反击的心情作困兽之斗，其战斗力也不可小觑。
而北路王靖国部队战斗力也不强，但左有赵承绶部队，右有汾阳之敌策应，也不便于解放军反突击的实施。因此陈赓和王震自然而然的将目光聚焦到了从由介休北上的第八集团军孙楚所部。孙楚是山西人，保定陆军军官学校毕业，1914年从晋军的见习排长一直提升到1928年时的第三十三师师长。可以说是颇得阎锡山的器重的了。
北伐战争期间，孙楚率领第三方面军率先进入北京，因此出任北京市警备司令。中原大战中，率军奔赴邢台、郑州一线作战，中原大战结束后，出任正太护路军司令。孙楚还是第一个与**军队交手的晋绥军将领，曾在临县黄河一线阻击红军东征。抗日战争爆发后，孙楚升任第六集团军总司令，抗战胜利后，担任国民革命军第八集团军总司令，兼任太原绥靖公署副主任。
国民革命军第八集团军在抗战之初本是粤军将领张发奎的部队，下辖第六十九军的第五十五师、第五十七师、第六十一师、第六十二师等部，属第三战区指挥管辖，军曾参加过淞沪会战，担任右翼作战任务。1938年初，第八集团军转为军事委员会直辖兵团，张发奎仍任司令，下辖第三十六师、第五十师、第九十二师、第九十三师及第一六七师。
但此后该集团军建制撤销，其番号便给了山西的第二战区的晋绥军部队，新任第八集团军总司令为孙楚，初期所下辖第六十六师、第二十一师等部，后来又编入了第三十四军、暂编第一军等晋绥军主力。坚守大同的晋绥军名将楚溪春也一度是孙楚的副手，在投入汾阳、孝义战场之时，孙楚所部下辖第四十三军和第六十一军所部的4个师，可谓兵强马壮。
因此三路晋绥军之中孙楚讲话调门最高，他通过无线电和将领们议论什么“收复孝义很有把握”，陈赓部队无非是采取“打了就跑”的战术，叫部下不要为陈赓所迷惑，必须按时攻占孝义城，并做好追击陈赓部队的准备云云。经过再三权衡，陈赓说：“就是战斗力很强的部队，也逃避不了‘骄兵必败’的规律。阎老西儿的这些卵翼部队，既无战斗力，又自大轻敌，焉能不败？咱们就拿孙楚开刀吧！”。
20日晋绥军距孝义县城还有二三十里地时，中路的赵承绶想抢头功，派了1个师抢先扑向孝义县城，据守在孝义县城北关的陈赓纵队第十一旅的第三十三团，打了一个反突击，歼灭了它1个团，活捉团长以下800多人，缴获2门山炮等许多军用物资。陈赓为此曾担心，怕赵承绶向阎锡山报告这一情况，从而引起敌人的警觉，造成以后的仗不好打。谁知道，赵承绶怕丢脸，根本不报这事，使阎锡山蒙在鼓里。
这时汾阳守城的刘效还曾向阎锡山军队的参谋长郭宗汾的建议：“进攻孝义不可轻进！陈赓十分诡诈，不要上他的当。南边的友军（指胡宗南部队）已经吃过他几次亏了。”“你不必顾虑。我们这么多部队，陈赓有什么办法？”郭宗汾不以为然，“他最多采取打了就跑的战术，跑上南山去。”
果然陈赓就将计就计，命令各旅派小分队，以轻机枪、步枪、手榴弹就近对敌人进行火力袭扰，不准动用火炮和重机枪，一两个小时即自行撤回，给敌人造成“打了就跑”的错觉。这一战术果然灵验，当小分队火力袭击一开始，各路晋绥军纷纷向阎锡山报警，说陈赓部队发起进攻了。没隔多久，又向阎锡山报捷，说已将陈赓部队击退。所以阎锡山也就十分放心地命令晋绥军按既定部署实施进攻方案。
此时的晋绥军上下无不陶醉在进展顺利之中，惟独汾阳城里的刘效曾不放心，不断向阎锡山建议：“陈赓是个成了精的人，他蹲在南山上，察看我们动向。我估计他今晚就要行动，请总座提醒各部队加强戒备。”但阎锡山却不以为然地说：“陈赓不是已经在行动吗？无非是打了就跑。你不必多虑。”
上行下效，晋绥军各部几乎是大摇大摆地向孝义县城方向，唯独赵承绶吃过亏，表现略为谨慎。21日下午3时许，孙楚的8个团进至东盘梁、北窑村一线。进攻队形已全面展开，没什么戒备。但在东、西盘梁遭到陈赓纵队第十旅的阻击之后，却连番进攻均没有取得进展，而就在其准备后撤时，陈赓纵队第十旅、第十一旅、王震所部第三五九旅、独四旅立即转入全面反击之中。
据说是役孙楚开始还在无线电中对阎锡山说：“我军按计划前进，没有发现陈赓部队，可能他们已经逃到南山。”过了不大功夫，又说：“按这个速度，黄昏前占领孝义没有问题。现在只发现陈赓小部队骚扰。”很快，他就慌张地大叫起来：“哎呀！陈赓部队进行反击……已经到了我的村前……我要转移，不能讲话了！”以后阎锡山就再也听不到他的声音。汾阳、孝义位于晋中平原，地形平坦开阔，长于防御孙楚所部都在开阔地上，无处立足抵抗，瞬间便全线崩溃。
乱军之中第八集团军指挥部率先被解放军攻占，副司令杨纶元被俘。孙楚虽然侥幸逃脱，但是仓皇出逃之间，把蒋介石颁给他的奖章、他自己的私章和第八集团军的军旗等都丢下。孙楚的3个团被第十一旅和第三五九旅等部包围于东盘梁村。被围的师长向其总部通过报话机报告时竟哭了，说：“炮还在，炮弹丢了，现在人心惶惶，请速派援兵……”阎锡山总指挥部回答：“你统一指挥3个团抵抗共军，我们即命赵承绶增援你们。”结果那个师长更哭了：“准备成仁……”仗打到这个份上，可见晋绥军士气之低落。
好在山西的一场大雪及时帮了晋绥军的忙，陈赓所部经过连续作战，已感到疲劳。东盘梁被围的3个团也趁着雪夜遁逃而去。此后24日，陈赓纵队虽然又将孙楚所部之暂编第四十六师和第七十一师两个师包围于汾河边的中街村。但是中街村背后是汾河，其他几面都是平坦的开阔地，晋绥军凭借村子的围墙等有利地形及坚固工事进行顽抗。27、28两日，解放军先后两次发起攻击，均未奏效。第二次进攻，损失较大。第十一旅第三十二团第九连在向中街村进攻时，由于副团长把路带错，置部队于中街村正北晋绥军暗碉侧射火力网，导致全连壮烈牺牲，营教导员原增录负重伤。而更为惨痛的是第十旅副旅长楚大明在攻坚中阵亡。
楚大明1917年生于河南省商城县一个农民家庭，当过牛倌；1929年革命风暴席卷大别山，商城县建立红色政权后，他被任命为县苏维埃常委兼赤卫营营长，后被编入红军第七十四师，从通信员一直干到排长。随着他军政素质的提高和军事才能的崭露，他的职务连续升为副旅长。由于他骁勇善战，出奇兵，克敌制胜，功勋卓著，在部队享有很高声誉，他是著名的战斗英雄，被人称为“红色虎将”、“八路军的夏伯阳”。在近20年的战争烽火中，他负伤28次。他的牺牲，是陈赓纵队一大损失。
当时又值“三九”时节，天寒地冻，要在开阔地上进行土工作业攻坚，挖交通壕近迫工晋绥军事，几乎不可能。加之晋绥军各路援兵正纷纷向中街集中。此时阎锡山又调集3个师由平遥、介休来援，同时还调第七十师由汾阳进至乾河村，第六十六师、第九总队进至北辛武村。如果再打下去，只会造成部队更大伤亡。最终陈赓纵队不得不撤围而走。算是为汾阳、孝义战役画上了一个不算圆满的句号。
战后陈赓在总结会上十分具体地表扬了友军王震所部第三五九旅、独二旅、独四旅的优点。如说独二旅人数虽少，但战斗作风好，有全局观念；独四旅打孝义县城贡献大；吕梁部队在汾河打援硬是把敌人顶住了，敌人用榴弹炮也轰不动他们。然后，他严厉地批评了自己的第四纵队，特别指出中街战斗组织得不好。不过，他没有点名，也没有处分当事的干部。而是向中央军委递交了总结报告，主动承担了全部责任。
而对于晋绥军而言汾阳、孝义之战，虽然以汾阳解围，陈赓撤走而告终。表面上来看还能算是一个平局。但是3万主力部队却伤亡万余人，损失了大量武器装备（火炮146门，军车350辆）。更重要的是晋绥军好不容易才积累起来的一点信心和士气，也被一扫而空。在此后的战斗中除了拒城而守之外，再无野战决胜的勇气。
而胡宗南为了全力进攻延安，更调集主力西去，把驻扎在晋南的整编第一军及所属7个旅调往陕北战场。使晋南地区的防御兵力削减到只有正规军3个旅另4个团，连同地方保安部队才3万余人。陈赓所部挥师南下，4月5日，太岳军区新组建的第二十二旅一举攻克翼城县城；第十一旅重新夺回侯马市；7日，第十旅渡过汾河攻占新绛县城，9日攻克河津县城，10日攻占黄河岸边的重镇禹门口，12日又攻克荣河县城。第二十四旅8日攻克稷山县城，10日攻克万荣县城，15日再攻克临猗县城。
1946年1月13日，由于遵守停战协定，攻上曲沃县城城头的第十旅按规定准时撤了下来。国民政府则大肆吹嘘所谓的胜利，还在西门外建立了一个纪念碑；并加高了城墙，加深了外壕，增设了近千个碉堡，自以为固若金汤，不可一世。这次陈赓吸取了中街战役的教训，亲自督促第十三旅和太岳军区的第二十三旅认真准备，挖好交通壕以掩护接敌运动，周密组织火力，山炮抵近射击，尽量使用爆破手段……部队于4月10日攻占城的四关。
但是陈赓并没有下令攻城，而是重新调整部署，进行攻城训练，安排炮兵做抵近射击，组织特等狙击手封锁敌枪眼……经过10天认真准备，陈赓派人检查后，才批准14日黄昏发起攻城。准备充分的两个旅一鼓作气，于第二天就解决战斗，全歼守敌3000多人，仅捉到各地流亡到该城的国民党县长就有12个。与此同时，太岳军区部队收复了浮山和绛县两座县城。
晋南战线的全面崩溃，令胡宗南不得不从陕北战场抽调两个旅，经风陵渡和吴王渡过黄河增兵晋南：一个旅进入晋南中心城市运城进行防卫；另一个旅的先头部队第二十八团进抵嵋阳镇，试图进攻临猗县城，第二十八团前身是孙中山先生的警卫营，也是国民革命军中著名的“御林军”之一。但在陈赓指挥第十一旅和第二十四旅优势兵力的猛攻之下，也瞬时土崩瓦解。
整个晋南战区顿时风声鹤唳，**各部纷纷向运城逃窜，陈赓乘势挥师南下，连克闻喜、夏县、临晋、永济、虞乡、芮城、解县等县城。晋南三角地带仅余运城一座孤城。仅仅21天，陈赓所部便解放了晋南300万人口的广大地区，控制了同蒲铁路230公里，使晋南局势发生了根本变化，严重地威胁了进攻陕北的胡宗南军队的侧背。
已经撤出延安的**大喜过望，电令陈赓所部：“应乘胜相机夺取运城，彻底解放晋南三角地带。此外，应以一部向吕梁地区扩张战果，协同吕梁军区部队解放汾河以北、以西广大地区，继续威胁陕北敌之侧翼。”按照这个指示，陈赓立即指挥第二十二旅、第二十三旅及太岳军区第二军分区部队，渡过汾河北上，协同吕梁军区部队，攻占晋西的乡宁、大宁、蒲县、汾城等县城，使吕梁与太岳两军区连成一片，胡宗南的东翼暴露无遗。
但是运城作为同蒲铁路南段之中心城市和战略要地，城墙坚固，工事密集，城的四周均为开阔地，除西关有居民房屋，其他各关民房甚少。可谓易守难攻。但当时部队和太岳区的党政军民，都热切盼望尽快拔掉敌在晋南的这个中心据点，使富饶的晋南三角地区全部解放；同时，运城外有个大盐地，经济价值很高，可保证太岳、太行、吕梁、晋西北、晋南人民食盐供应并有富余；加之，夺取运城外围阵地比较顺利，都促使解放军对夺取运城充满了信心和渴望。群众已在准备祝捷庆功了，入城张贴的安民告示都写好了；太岳军区和太岳行政公署甚至已经作好了接管运城的各种准备，大批抢运食盐的劳力，已经集中待命。
但是当此之时，运城守军已经由原来的地方保安团变成美式装备的青年军第二零六师。因此陈赓鉴于城内有**主力便有11个步兵营及1个战防营、1个山炮营、1个榴弹炮连，工事虽不甚坚固，但火力甚强，而解放军炮兵薄弱，又缺乏炮弹、炸药，以如强攻伤亡必大，影响下次执行新任务的名义，给**中央、中央军委和**提交了不打运城的报告后，决定停止攻城，率领部队撤出阵地。
虽有中国兵法之上向来都有“将在外，君命有所不受”的说法。但是自有宋以来，中国的将军便深陷于君权的威压之下。“军中但闻将军令，不闻天子诏”的豪情早已在一代一代对武人的压制和控制中被消磨怠尽。身为旅长的周希汉不想打运城，都不敢直接和纵队领导说，作为一个纵队司令员的陈赓怎敢违抗中央的命令呢？而陈赓的压力还不仅是来自上边。在基层部队之中对于停止攻击运城的牢骚、怪话就更多了。但陈赓不拘泥于机械执行上级指示，不迎合人们不切实际的愿望，以自己高度的政治责任心，豁达大度地去耐心进行解释工作，而把别人的误解置之度外。因为无私，自然无畏。