晋中大败后，阎军精锐损失殆尽，晋中地区已被徐向前夺去，全省各地纷纷告急，军队、文职官员、地主商绅，以及家境富裕的平民，都提箱负箧向着太原逃亡。
由于阎锡山的野战军主力被歼，要防守各城市已不可能，唯一能做的，就是集中全部剩余兵力，在太原四周添筑防御工事，实行死守，等待时局变化。所以，阎锡山在晋中战役结束之前，认为留在解放军南边的晋中几个县的部队不但给不上力，恐将来早迟也要被解放军分而食之。为了把这些部队留作防守太原的本钱，阎锡山连发数令，命令驻扎在汾阳、文水、平遥、介休的统兵军头，以及上述各县的行政干部、地方团体，民卫军一律撤至太原，归第四十三军军长刘效曾统一指挥。
这种看上去简直像是民族大迁徙似的撤退，不啻是不战而逃。于是，晋中平原上出现了极其荒诞的一幕：阎锡山的部队和地方官员、民团、地主、商绅在前面不要命地向着太原方向逃，徐向前指挥的解放军在后面不要命地追。抓鸭子的难度，远远超过了抓俘虏！赵承绶的野战军加上驻扎在晋中各县的部队，阎军超过了十万人，十万大军就这样放了羊，有的被解放军截击，有的自动散伙回了家，最终逃到太原被收容下来的，不足两万人。
接到大撤退命令时，被阎锡山寄予厚望的刘效曾还在汾阳城里。七月十九日他便率领一万四五千军民潮水般向城外涌去。刚走到汾阳城东，便遭到解放军两个团的攻击。奉命逃跑的军队哪里还敢恋战，扔下专县政府的官员和家属，扯抻脚杆便逃，遇上解放军阻截便打上几枪。丢盔弃甲不说，行李辎重损失殆尽。刘效曾部二十四日逃到太原城郊时，只剩下四千来人，其余不是跑散，就是被俘，真正死在解放军枪口下的，微乎其微。
阎锡山深感自己的兵力愈来愈不足，残留日军也战死了不少。阎锡山同城野宏等人商定，准备再从日本招募十万义勇军来山西。为此，残留军官五城邦一被城野宏派往上海活动，梁延武和徐士珙也奉阎锡山之命，到日本为阎招兵买马。
阎锡山如此一番大折腾，将兵力一收缩，他在整个三晋之地，除了省城太原，便只有晋北大同还有一个骑四师替他捏在手里，其余的，全都被解放军夺去了。
太原被围，已是不可避免之事。阎锡山深知自己手下的十余万兵马再加上二十八万太原市民，不用解放军开一枪放一炮，单是这四十余万张嘴巴，就非把他吃垮不可！而此时山西的大粮仓晋中地区已经被徐向前夺去，他要保证军队必需的粮食，就不能不提前打主意。在太原存粮日益减少的情况下，阎锡山绞尽脑汁寻求对策，清查出多达五万的军队空额，裁减一万名机关职员，停发留用官员眷属约一万人的粮食，将山西大学等大、中学校迁往北平或索性暂时解散。
阎锡山大力加强政治统治，发布《告全体同志书》，号召进行所谓“总体战”，提出将太原建成“战斗城”的措施，制定和颁布了保卫太原的“十二条行动纲领”，并据此把太原居民编为各类战斗队服务于太原保卫战。
太原居民和外县逃来的男子，凡年龄在十六岁至四十七岁的，都编成人民自卫军，由太原市长白志沂兼司令，他的侍从参谋杨玉振和丛震山兼副司令。编成八个总队，用以防止内应和民变。发给步枪和手榴弹，担任城关放哨、巡街及检查地洞（害怕解放军由城外往城里挖地洞）。号召一旦有事，街守街，巷守巷，院守院，大家一齐行动，使共军不能来，不能动，来了就消灭。
把十二岁到六十岁的男子编为参战队，负责抬担架和运输、生产。把七至十二岁的儿童编为助战队，负责检查“伪装”、送信、募捐和唱歌、宣传。把青壮妇女组织起来，编成看护、缝洗、炊事等组，并担任募捐、慰问等工作。由中等学校学生中挑选一部分，经突击培训后担任炮兵观测。
把这样一些能够直接为即将到来的守城之战服务的人员挑出来之后，剩下的无用之人，那就必须得清理出太原城，不能让他们分当兵的口中之食。
其实，不消当局动员，有能耐的，早就携家带口，坐飞机、坐火车，坐汽车，或者步行，争先恐后跳出了太原这个大火坑。
而现在当局采取的办法是让无用之人投亲靠友。当然是带有强制性的，先是宣传员上门连哄带吓，然后行动快的，可领到一点遣散费，共军一围城，想走也走不了，困在城里，啥吃的也没有，连这点遣散费也没了。老百姓自然经不起官府吓，且最讲现实，能走的，几乎全都伸手领几个钱，马上收拾行李，出城而去。那些日子，偌大个太原城，处处可闻哭嚎声。
阎锡山还通知留在太原的日本人，如果不愿继续残留的，或者是非战斗员，年事已高的，妇女、儿童等，尽可能离开，由他负责安排遣送回国。日本人对阎锡山的好意非常感激，有些在太原机场还勉强可用之前，已设法搭飞机到北平转道天津登船返日。但是，还有三千多名日本官兵声言愿以死报答阎长官的深情厚谊，愿与阎长官一起死守太原。
自然，这些不愿离开太原的日本人内心也有自己的打算。日本已经被美国人占领，回去也是做亡国奴，留在太原，官升三级，兵发双饷，如此丰厚的待遇，满世界哪里去寻？更难得的是人格不受歧视，还在中国人之上。往最坏处想，就算军事失利，阎锡山也有可能向共产党妥协，也不一定就非得把命送了。想来想去，还是觉得只有留在太原最安全，最幸福。还有一个重要的原因，那就是因为多年的居留已经使他们习惯了太原的生活并产生了难以割舍的感情。城野宏兼任主编的《晋风》杂志上，就曾刊登一首残留日军、著名作家平野零儿的诗作，正是这种复杂思想的集中反映：
给将要枯萎的心， 投来希望的光芒， 即便还是稀微的。 啊，回忆深重的异乡之太原啊。 让我们高声地吼叫着， 建设新亚细亚之我们民族的理想， 而进一步强力地前进着的， 山西首都的太原啊！
阎锡山对澄田睐四郎、三浦三郎、河本大作等几名日本高级战犯做到了仁至义尽。
一天晚上，他亲自前往澄田官邸，将三浦三郎、山冈道武和城野宏、岩田清一、今村方策一并接来，召开了一个小范围的高层会议。阎锡山对战犯们表示，虽然极希望他们能留下来帮助自己，但是，毕竟几位都有各自的家人，在中国时间这么久了，还是尽早回国与家人团聚。并且要求他们，在日本帮助自己招募志愿军。志愿军将享受与残留日军一样的待遇。
残留日军出版的杂志《晋风》
三浦慨然应允，并提出了“当前一般形势判断”，他说：“如此下去，中共将会在不太长的时间里征服全中国，这是足可使世界体制发生重大变化的危机。值此之际，全世界的反共势力都必须携起手来，设立统一的指挥机构，制止中共的发展。第一，美国政府与蒋介石政权应共同向华北派遣三十万日本志愿军与中共作战；第二，设立以美国为首的国际政治局，实行统一指挥。”
三浦还对继续残留的城野宏说：“回国后，我将为实现招募志愿军的计划不遗余力，请您与今村君、岩田君同心合力，确保山西。”
“由于战犯处理工作已全部结束，所以原来设立于各地的日本战犯服务部也随之而撤销，所以，我留下来也没什么用处了。”山冈道武看到大势已去，遂决定接受主人的劝告，加入遣返者的行列。不过，他把话说得很漂亮。
“不管怎么说，志愿军的问题，如果不运动麦克阿瑟，中国方面或日本的朋友都是无能为力的。以前派回国的人员，由于层级太低，起不了什么作用，所以我应当回去试试。只要能争取到麦克阿瑟的谅解和支持，我马上用无线电通知阎阁下，满载日本志愿军的船队直接到天津也行，先到上海也行。”
阎锡山高兴地说：“志愿军的登陆地点请选在天津，守卫天津的陈长捷，是我的老部属，他要帮忙的。如果船到天津之前，美国人能给予保护，那么登陆后的给养、装备、运输等一切问题，均由我方负责。”
山冈说：“如果日本志愿军在天津登陆，务必事前与傅作义将军取得联系。”
阎锡山说：“这个没有问题，傅将军也是我的老部属，他会出力的。”
河本大作却拒绝回国，他像个真正的日本武士般说道：“阎阁下对我残留山西的日本人恩重如山，我不能在太原处于共军严重威胁的情况下选择离开阁下。三浦君和山冈君有必要回到东京，为阎阁下招募志愿军而发挥更大的作用，而我只有继续留在太原，才能不辱阎阁下使命！”
剩下的，便是澄田了。
他站起身，心情不安地拿着壁龛中摆设的佛像，踱来踱去。
所有的眼睛都注视着他，等候他做出选择。
阎锡山劝道：“澄田君，我比你痴长几岁，我们都是老人了，老人最能够理解老人，请选择回国吧，回到东京，你仍然可以运动麦克阿瑟，为我招募志愿军。除此之外，还可以和亲人团聚，享受一下含饴弄孙的天伦之乐。”
澄田的眼睛红了，他蓦然停步，直视着阎锡山说：“你不用劝我了，我决定把山冈留下的责任，承担起来！”
在日俘日侨的遣返工作上，太原无疑走在了全国的最后。从全国而言，大遣返从一九四六年一月五日开始，到一九四七年年底便基本结束了。可是在山西，隔三岔五，仍然还有运送日俘日侨的闷罐子专列开往天津。山西全省的遣返工作时断时续，停滞不前，不言而喻，一者是因为受到了阎日合谋的“残留运动”的影响，二者，就是铁路不太通畅。
就拿这一次第一军司令部的归国派将佐和家属们回国的经历来说，就知道山西的遣返有多么不容易。
这天早上，空中小雨霏霏。八点来钟，有着战犯身份的澄田睐四郎驱车来到太原南门火车站大楼前的广场上，为他昔日的部属们送行。家属和军人混杂在一起，队伍自然已经不成个队伍，活像个乱哄哄的大蜂房，维护军队形象的礼仪自然也**然无存。
瘦削的身上穿着西装，露出干瘪花白的脑袋，仿佛一夜愁白了头的澄田从小轿车上下来，刚一登上大楼前的石阶，广场上无数条粗粗细细的嗓子便冲着他大喊大叫，催他有话快讲，有屁快放。因为维持秩序的宪兵队长已经宣布，必须等澄田司令官讲完话，大家才能进站登车。
看到这样的场面，澄田十分伤感，他完全可以不来受这番窝囊气的，可是他来了。他来，只是想送他昔日的部属，以及部属们的妻子儿女们一程。他已经快进花甲之年了，可是，为了报答阎锡山对自己的深情厚谊，他在这样的时刻选择了残留，所以，他不能不珍惜这次见面机会。他甚至有理由担心，这是他和部属们最后的永诀。
澄田的告别辞，动情且依然不失军人风采：
“征战数载，空怀伤感而回国复员的将士们，皇国面临空前危机，国民之惨状亦不难想象。当兹举国一致为战后复兴而勇往直前之际，余深信归国将士必将成为骨干力量。诸君宜重下决心，缅怀忠勇阵亡战友之英灵，以趋祖国之急。基于多年阵中出生入死所体验之信念，披荆斩棘，克服万难，维护国体，再建皇国，勇往直前，以副圣意。亲爱之诸君，当此诀别之际，忧国之心，无时或已，披沥衷情，切望诸君自爱、奋斗。”
澄田讲完话，还亲自到月台上，一个窗口一个窗口地挨着和不少一起出生入死，征战多年的部属告别。不单是女人哭，孩子哭，那些跟随他多年，身经百战的将兵们也同样伤心得嗷嗷大哭。
澄田同样是老泪纵横。
可他怎么也想不到，没过几天，这批归国者中的绝大多数，又重新回到了太原，只有一小部分步行去了天津。
这趟从太原开出的遣返列车走的是正太线，过了娘子关，刚进入河北的井径，就没法再往前开了。一座铁路桥被炸飞了，三个隧洞被炸塌了，上安到鹿泉之间的枕木全部被烧毁，钢轨被运走，路基分段被挖断、炸毁。电线杆、电线、桥梁、车站站房遭拆毁，没个三月两月通不了车。没法子，火车只好载着大部分人往回开，少部分不愿回太原的，便下车步行往天津走。这五六百名日俘日侨背着行李，扶老携幼，白天赶路，夜晚在野外露宿，有时通过解放军控制地区，有时经过国民党军队守备的地区，而每逢走到国共两军势力衔接的地方，都要经过严格的检查。其间还不时遭到土匪和老百姓的袭扰。他们横穿河北，饿死累死加上被土匪和老百姓打死的，在两百人之上，活着的人形销骨立，状如乞丐。一个多月后，他们才像一群幽灵般进了天津，在日俘日侨收容所里，喝着中国人的玉米糊，吃着中国人的混合面窝头，然后被美国大兵用军用大卡车送到塘沽码头，登上了归国的轮船。
正太路和北同蒲路走不通，遣返列车只好走南同蒲路，到风陵渡上陇海线再到天津。不少为残留或是归国而举棋不定的日俘日侨，得知归国之路随时会被切断，吓坏了，赶紧抓住这最后的机会，挤上了归国的列车。
城野宏安排合谋社军事组部属们的家属上了这趟驰往天津的列车。永富博之结婚还不到两个月，妻子花枝明慧在太原日本军官俱乐部当服务员，男女正在如胶似漆的热乎劲上，都舍不得离开。可最后一刻，永富博之还是改变了主意，让老婆回国。
城野绫子坚决不同意把丈夫一个人丢在太原，自己和女儿回国，可在比她还固执得多的城野宏的坚持下，最终还是妥协了。
城野宏让绫子收拾好行李，带着女儿上了轿车。然后，他亲自开车把母女俩送到了南门火车站的月台上。
列车驰出车站的那一刻，车上车下，哭声震天。
城野宏泪飞若雨，他既是为亲人的生离死别而哭，更是为日本的亡国之痛而哭！他对国破家亡这个词，有了太深刻不过的感受。
“太原被围是迫在眉睫的问题。围城战的结果，也许是全部死亡。因此，我向阎锡山进行了交涉，希望尽量让一些非战斗人员、老弱、妇女及其家属归国……这些人员一边同留下来的人们依依惜别，一边庆幸自己总算能从战火纷飞之中逃了出去。这样，留下了决疏破釜沉舟、血战到底的，以年轻人为主的三千日本人。”（引自城野宏《日俘残留山西始末》）
不过，城野宏肯定至今仍然不可能认识到，对于大多数受他煽动而选择残留山西的日本军人与侨民来说，他们从一开始就走上了一条毫无前途与希望的不归之路。“八一五”之前，他们在中国的土地上耀武扬威，将和平的家园变为杀戮战场，是可恨可憎的侵略者。“八一五”之后，他们没有回归平民的身份与亲人团聚，而是卷入另一个国家的内战，一方面作为战争机器践踏着他国的土地，另一方面，作为炮灰又被战争的铁蹄所践踏，成为在“杀人与被杀”之间往复轮回的“蚂蚁部队”。
一个他们无法改变却又始终没有认识到的事实是：无论中国内战的胜利者是哪一方，他们永远都是输家，他们所有的付出都不会得到胜利者的正视，更不会被对手所宽恕，客死他乡的人更是毫无价值地流尽了鲜血，成为游**于异域而难以东归的孤魂。