而日军方面虽然占据了号称“华北屋脊”的山西，一度处于东可越黄河而进犯陕甘宁革命根据地，南可侵中原锦绣河山的有利态势。但是深入敌后的八路军却成功地展开了依托恒山、五台山、管涔山、太行山、吕梁山的晋东北、晋西北、晋东南和晋西南四角，对进占太原及正太、同蒲沿线之日军，形成战略包围的态势，同时对正面作战的**部队也起到有力的配合作用。
日军在侵华战争中曾在济南、郑县等多处突破黄河防线，但是始终未能突破陕甘宁边区的河防。1938年3月中旬，日本陆军第一○八师团一部由蒲县西犯，企图威胁河防。但是八路军第一一五师主力于晋西南午城、井沟地区连续数日作战，歼敌千余人，粉碎了日军西犯河防企图。同年9月，日本陆军第一○八师团又以一部沿汾离公路西犯，先后占领离石、柳林，进逼军渡、碛口，直接威胁河防和陕甘宁边区。八路军第一一五师主力于汾离公路的薛公岭、油房坪和王家池，先后伏击日军，三战三捷共歼敌1200余人，再次粉碎了敌西犯河防企图。
此外，在1938年至1939年日军向神府、碛口、宋家川、凉水岩、马头关等河防的多次进犯中，晋西北、晋西南根据地军民，在敌侧后积极开展游击战，钳制日军西犯行动，袭击敌运输队，切断其交通线，在河西军民的英勇顽强抗击下，使日军腹背受击，不得不从河防撤退。
在这样的情况之下，山西抗日根据地自然被日本侵略军视为心腹之患，日本陆军华北方面军将山西抗日根据地作为主要作战地区，以便打击八路军主力，袭击北方局和八路军总部指挥机关，摧毁**所领导的抗日根据地。1937年至1938年，日军在山西先后投入第五、第二十、第一○八、第一○九师团、第二十六师团一部及独立混成第三、第四旅团作战，以占华北方面军总兵力的1/2，频繁地向山西抗日根据地实施大规模的围攻和“扫荡”。
但是到1939年山西的抗日根据地不仅粉碎了日军的“扫荡”，更打退了阎锡山的军事进攻。1940年八路军晋察冀军区以39个团、第一二○师以20个团、第一二九师以46个团，在数十万民兵游击队支援配合下发动的百团大战，也是以晋东北、晋西北、晋东南抗日根据地为依托，以正太铁路和同蒲铁路为主要进攻目标而展开的。百团大战歼敌伪4万余人，打破了日军的“囚笼政策”，使日军华北方面军遭到沉重打击。
独立自主的山地游击战本来就是中国**人领导工农武装的拿手好戏。因此即便日军调集多个旅团主力数万兵员的大围攻，抗日根据地也往往是越战越强，根据地反而日益巩固和扩大，山西四隅的抗日根据地最终成为将抗日游击战争推向平原、扩展至全华北的首批巩固的山区抗日战略基地。
冀鲁平原人口稠密，物产丰富，平汉、津浦铁路纵贯南北，是日军力图控制的地区。发展平原抗日游击战争，可以打破日军对平原地区的统制和掠夺，使平原地区的人力、物力和财力资源，成为坚持长期抗战的基础。八路军在山西“四角：战略展开，开展山地游击战争，创建了巩固的山区抗日根据地，在山岳地带站稳了脚跟，最终为八路军主力深入平原开展游击战争，建立平原抗日根据地创造了有利条件。1938年1月和3月，第一二九师已先后派出由副旅长陈再道率领的东进纵队和师政治部副主任宋任穷率领的骑兵团，由太行山区进入冀南开展抗日游击战争。
4月26日，第一二九师副师长徐向前率领该师第三八五旅之第七六九团、第一一五师第三四四旅之第六**团及第五支队（即曾国华支队），由山西辽县出发，于5月初抵达河北省南宫地区，与先期到达的东进纵队、骑兵团会合。5月，第一二○师宋时轮支队从山西雁北出发，抵达平西斋堂、杜家庄地区，与晋察冀军区邓华支队合编为八路军第四纵队，6月上旬挺进冀东。7月，第一一五师组成的第五支队和第一二九师组成的津浦支队，由冀南出发，挺进冀鲁边的乐陵、宁津地区。9月，第一一五师政治部副主任兼第三四三旅政治委员萧华率该旅司、政机关及补充团部分干部，由山西出发，抵达乐陵，成立了八路军东进抗日挺进纵队。由山区战略基地派出的多支劲旅，迅速扩展到辽阔的冀鲁平原。
面对中国**人所领导的八路军越战越强的情况，日本陆军华北方面军不得不承认一个痛苦的事实，那就是山西不仅没有成为他们窥测中原大地的绝佳据点，相反正日益成为吞噬其有限机动兵力的黑洞，这种鸡肋般的感觉迫使日本军方不得不认真考虑如何收缩战线，通过以华制华的方式，从山西地区抽身而出。于是出现请回阎锡山重掌山西的情况也便不足为奇了。
对于拉拢阎锡山令其脱离重庆政府，协助围剿山西的八路军日本山西派遣军方面可以说还是作了相当多的工作的。除了给予经费、武器的接济之外，还在1941年6月间主动将位于晋中盆地西南隅的孝义县移交给了晋绥军方面。孝义县背倚吕梁山脉，衔吕梁之雄峰；面俯晋中盆地，吞汾河之浩水。自唐以来，便是闻名—方的特产富庶及商贾云集之地。
阎锡山也深知日本方面移交孝义为的是令自己与日本方面的妥协大白于天下，因此曾私下与晋绥军的将领们分析过利弊：“这次对方把孝义让给咱，**可以直接打咱们，可能为了他们出师有名，大大宣传咱和日本人妥协、投降，对咱很不利。但这个县可以征到不少粮食，一县可抵晋西四五个县，还可以伸展到平遥、介休边上，这又对咱有利。”可见经过了多年寄居陕西的日子，阎锡山还是改不了他的精明和算计。而对于日军提出的包括“以离石—军渡公路为界限，离石公路以北地区由日军对八路军进行围剿，；离石—军渡公路以南，汾阳、孝义以西地区，由晋绥军负责围剿的，必要时双方可以实行‘会剿’。”等要求，阎锡山也开出了“亚洲同盟，共同防共，外交一致，内政自理”的条件，而其中的要害自然还是“内政自理”这一条，显然阎锡山本人依旧念念不忘要将山西作为自己的独立王国。
但是自抗战以来，晋绥军上下及三晋百姓都与日寇有过浴血抗争，死伤累累、家破人亡者不再少数。陡然之间为了阎锡山的个人利益变仇寇为盟友，即便是对阎锡山忠心耿耿的晋绥军高级将领心中也不免有一种说不出的滋味，十分尴尬。而普通士兵和山西民众更对曾经为自己带来过辉煌和繁荣的地方长官采取如此的举措去应对外侮，颇感气愤和不屑。
自从1937年日本全面发动侵华战争以来，美日关系逐渐恶化。到1940年，由于受德国席卷中、西欧的刺激，加上对华战争一时难以取得决定性战果，国内对战略物资（尤其是石油）的需求又日渐迫切，日本决定加大向东南亚扩张的进度，从而引起了美方的极度不安。但是美日之间依旧没有撕破最后的的遮羞布，一边是双方剑拔弩张的全面对峙，一边却是紧锣密鼓的谈判和磋商。
因此日、美和谈之说，在正处于相持阶段的中国战场之上哄传一时。阎锡山一度认为日、美必然会和，罗斯福可能牺牲中国，迁就日本，蒋介石在这种情况下，必然先和日本妥协。而晋绥系统的高级干部，大都附和阎这个说法，只有孙楚一人认为日、美必战，日本必败。但是阎锡山根本不理睬孙的意见，抱着他一贯要依靠日本帝国主义扩张实力、统治中国人民的野心，深恐美、日妥协，日本帝国主义势力再扩张后，抛弃掉他。因此，更积极向日方献媚，和其加强勾结。
但是但另一方面，他又怕一下子拿不稳，所以也不得不观望一下，看看日、美和谈的结果如何。虽然嘴上说不耻做汪精卫那样的货色，实际上是时机还不够成熟，怕贸然去到太原，落个“赔了夫人又折兵”。同样是精明和算计，而随着1941年12月17日日本海军联合舰队“奇袭珍珠港”，太平洋战争全面爆发，阎锡山不得不暂时采取观望态度，虽然日本在开战之初势如破竹，但是终究是与美国存在着实力上的差距，在此时卖身投靠最终很可能只是空落一个汉奸的骂名，因此阎锡山只能继续与日方虚以委蛇下去。
而此时的日军从侵华部队中抽调大量力量到南洋去作战，急切要求在华北有个更有力的代理，替他们统治华北，防止八路军乘机反击，收复失地。因此，急于要阎锡山就范，威胁、利诱兼施，压迫阎锡山早日上钩。但偏偏此时老谋深算的日军山西派遣军参谋长楠山秀吉调往南洋作战，遗缺以日本贵族出身的花谷正少将继任。花谷正时刻以战胜者自居，趾高气扬，盛气凌人。晋绥军上下和此人接头的无不厌恶其的品行为人。
花谷正接任之后便派出陆军航空兵轰炸阎锡山的藏身体克难坡，以及晋绥军在黄河渡口小船窝附近修建的钢丝木板桥。但是由于精锐都以调往太平洋战场，所以二十几架飞机，三次投弹百余枚，只炸毁两股钢丝绳。阎锡山则是一面向其部下宣扬，要准备进行“大保卫战”，坚决保卫抗战根据地，以虚张声势；一面又要却又派出亲信到太原去再和日方商谈。以“从后方迁移工厂、眷属需要时间；没有力量就前进会遭到八路军打击。”为由希望可能缓和局势。
但此时花谷正对于阎锡山的拖延早已失去了耐心，对于阎锡山所派来的亲信—赵承绶说：“你来了，好！你能代表阎锡山吗？我看你代表不了他。阎锡山诡诈多端，把中国人骗遍了，还想骗我们日本人吗？我看你还是回去的好，叫阎锡山亲自来吧，我们非和他亲自谈不可。”在这样的局势之下，阎锡山才折尊屈贵的前往安平与日方会谈。
会议开始之后，阎锡山首先发言，大讲其所谓“相需”的谬论，大意是“亚洲同盟是中、日两国的共同利益，亚洲人愿意推日本做‘盟主’，我本人也拥护日本做‘盟主’，但日本人必须领导亚洲人做愿意做的事情，才能当好这个‘盟主’。中、日合作是互相需要，要本着共同防共、外交一致、内政自理的原则办事，尤其是内政自理更要紧，否则中国人民就会对合作有考虑。请日方表明对中国究竟将采取什么方针”等等。阎锡山每讲一段，便需要由翻译官翻译一段，占的时间很长。
最终令日方极不耐烦，花谷正拍案而起说：“我们是来开会，不是来听讲演。”而日军山西派遣军司令官岩松义雄更不等阎锡山把话全说完，就接过去发言，大肆宣扬一番日本在太平洋方面的胜利，促阎锡山立即“觉悟”，早日通电履行“汾阳协定”条款，希望阎锡山认清当前形势，相信“大东亚圣战”有必胜把握，要阎锡山立刻脱离重庆政府，参加“大东亚共荣圈”，勿再犹疑。并表示如果阎锡山马上表示态度，可立刻交付现款300万元，步枪1000支。至于“汾阳协定”里所答应的一切，可以陆续交付等等。
岩松义雄的态度虽不那样气势汹汹，但也盛气逼人，完全是战胜者口吻。但阎锡山此刻只能摆出一张老脸，不作表情。他早已料到日方会让他马上表示态度，立刻就说：“凡事都要有个准备，现在一切还没准备妥当，通电还需要相当时日。最要紧的是力量，如果日方能把‘汾阳协定’中答应的东西先行交付，装备起力量来，能对付了**的攻击，就可以推进到孝义去。”花谷正听到这里，极不耐烦，蓦地站起来说：“珍珠港一战，美国被日本一下子打垮，蒋介石更不在话下，阎阁下和日本合作，对你自己有利，也正是时候，观望没有什么好处，最好马上跟我们回太原去。”花谷正说话时，气势更凶，口说手比，旁若无人，弄得阎锡山十分难堪。
在这样的情况之下，是否有那所谓的一句：“炮兵（法币）前进”已经并不重要了，阎锡山一生自认精明，喜好算计。但往往都是聪明反为聪明误。他本想以暧昧的态度从日本人方面骗取一些物资，但又不愿在局势并不明朗的情况，空背上一个汉奸的骂名。因此安平会议最终只能是不欢而散。“安平会议”以后，日本人把阎锡山和岩松义雄握手的照片印成传单，用飞机在西安等地散发。阎锡山驻西安的办事处处长黄胪初把捡到的传单寄给阎锡山。阎锡山在克难坡每天早上举行的朝会上，公开向他的部下否认这件事。但后来有一个“中外记者考察团”到克难坡向阎锡山提出这个问题时，阎锡山无法抵赖，只好承认和日本人见过面，但矢口否认和日方有勾结，更不承认通敌叛国的帐。
而日军为了“惩罚”阎锡山在“安平会议”中逃跑，趁晋绥军第三十四军在汾南地区抢征夏粮时，由临汾的清水师团调集兵力，向该军全面进攻，第三十四军军长王乾元受伤，第四十五师师长王凤山阵亡，部队纷纷溃逃汾北山区。日军仍扬言要进攻吉县，阎锡山更慌了手脚，连忙写信给岩松义雄，说什么“希望你们不要把同情你们的人当做敌人”。日军这才停止进攻，但不久又在孝义地区围攻骑兵军的“征粮”部队，骑一师师长赵瑞、骑四师师长杨诚同时投敌。
此后虽然日本继续对阎锡山施加各种压力，逼其就范，但是面对着日军在太平洋战场的颓势日显，阎锡山一便采取拖延对策，仍与日军保持了有间隙的联系，一边却埋头扩张实力，以图东山再起。1943年，偏安晋西南的阎锡山便为解决粮食和兵源问题，在其控制区域内推行“兵农合一”政策。他将17岁到45岁的役龄壮丁，每3人编成一个互助兵农小组，一人当常备兵入营打仗，两人各领一份“份地”耕种。当时，阎统区完整县仅7个，但阎利用这一政策，2年时间内募集常备兵7万多人。也算是重整旗鼓。
抗日战争接近胜利时，阎锡山打出“开展政权”的旗帜，又加紧与日本勾搭，开始向**抢夺抗战胜利果实。他暗中派遣人员担任伪山西省公署职员和县长等职。1945年他又对日伪县区行政官员按现职发给委任状，保证将来不以汉奸论处。日本宣布投降后，阎锡山再次派赵承绶火速赶往太原与日军商谈“接收太原”问题。1945年8月17日，赵承绶与日达成协议：日军听候阎锡山接收；八路军如攻太原，日阎双方共同阻击。
日军在原防区防堵**及八路军并听候阎锡山受降；又派部队向太原挺进。8月30日，阎锡山在日军保护下回到太原，随即宣布“行者”（抗战人员）和“居者”（汉奸）同样有功，并委任伪省长苏体仁、冯司直、王骧为高级顾问或高级参事，改编伪军4万人为省防军，作为他进行以武力重夺山西的资本。八年抗战的结果，在山西阎管区不过是阎日伪合流而已。
1945年9月2日，驻扎在山西的日本第一军派出参谋长山冈道武为代表，和阎锡山商讨投降事宜。出乎山冈意外的是，阎锡山对投降事宜完全不上心。他对山冈说：“你们虽然战败了，但第一军军力仍然强大，而且士兵训练有素，我们现在兵力不够用，希望你们投降之后能留下一部分军队，驻扎山西负责保安工作。”对阎锡山的要求，山冈不敢立即拒绝，说回去跟长官商量。
但“人在屋檐下，怎能不低头！”最后，日本人同意了阎锡山的要求。接着，阎锡山就从5万多日军中选出1.5万人，编成第十总队。就这样，投降日军穿上了国民党军服，配发了武器装备。同时，阎锡山还留用大批日军高级军官作顾问和教官。昔日的仇敌成了袍泽战友，这一局面恐怕是那些战死于天镇、平型关、忻口、太原的**将士无论如何也没有想到的。
而阎锡山返回太原之时，自己苦心建设的军火系统各厂早已被洗劫一空，仅余下轻型机床400余部。战后劫余，全民族渴望和平建国，复兴中华。但阎锡山却为了恢复自己的独立王国，而忙于扩充军队进攻**和千方百计恢复和扩大军工生产。他把接收日伪资产中的小工厂的机器全部并入兵工业，为尽快恢复生产能力，命令各厂一面制造兵器，一面尽量制造军火工业所需的专用机床，还把乡宁分厂迁回太原专造步枪，孝义分厂迁到大同专造手榴弹。经过一番努力后，其西北实业公司所属的机床厂、育才炼钢机器厂、修造厂恢复较快，军火工业加班加点，出现一片垂死前的“繁荣”景象。
至此他阎某人自认羽翼重丰，雄心勃勃的准备一举将深根于山西近八年的**人赶出自己的禁脔。而他的第一个着眼点正是位于晋东南的上党。阎锡山自然不会忘记正是自己信任薄一波将这一战略要地拱手送给了**人，此刻他更不惜挑起内战，夺回自己失去的东西。