该军前身是晋军所属一部。1930年11月,阎锡山的晋军在中原大战失败后,按国民党军统一番号改编。其一部被改编为第67师。后因该师番号与陈诚所属的第67师番号重叠,于1935年底改番号为101师。
1937年7月,抗日战争全面爆发后,国民党以该师为基础扩编为第61军,李服膺任军长。下辖:
第101师,李俊功任师长;
第200旅,刘香馥任旅长;
独立第7旅,马延守任旅长,
该军组成后,隶属第7集团军,先后参加了太原会战中的晋北战役和忻口战役。在晋北战役中,军长李服膺因指挥作战不力,丢掉了天镇战略要地,致使晋北雁门关等关隘被日军乘胜夺占。10月,被阎锡山在太原处死后,陈长捷继任军长,黄士桐任副军长。同时,对部队进行调整,将第101师改隶第35军,第200旅改隶骑兵第1军;另将第35军第69师,第19军第72师调归该军,此时,该军下辖:
第69 师,吕瑞英任师长;
第72师,梁春溥任师长;
第208旅,高玺波任旅长。
此次编制调整后,该军驻防山西担任守备任务。
1939年5月,该军隶属第6集团军时,陈长捷升任第6集团军总司令,吕瑞英继任军长。下辖第69、第72师、第 208旅编制不变。1940年,第208旅扩编为暂编第48师。1941年11月,吕瑞英升任第6集团军副总司令后,该集团军副总司令梁培璜改任该军军长,郝士文任副军长。此时,该军下辖:
第69师,高玺波继任师长;
第72师,许鸿林任师长;
暂编第48师,娄福生任师长。
1945年9月,抗日战争胜利后,国民党军队进行整编时,该军暂编第48师被裁减,另将被裁减的第83军第66师改隶该军。该军即辖第66师,李佩膺任师长;第69师,赵向智任师长;第72师,王熙明任师长。此次整编后该军隶属第8集团军。同年底,梁培璜升任集团军副总司令职兼军长时,该军改隶第6集团军。
1946年初,梁培璜它调,王靖国以集团军副总司令兼军长,下辖:第66师,娄福生任师长;第69师,周建祉任师长;第72师,艾子谦任师长。同年8月至1947年1月,该军先后参加了洪赵战役、汾孝战役等。在这两次作战中,第69师被人民解放军歼灭大部。1947 年初,阎锡山第2战区编为太原绥靖公署时对部队进行了调整,王靖国免兼军长职,赵恭继任军长,隶属太原绥靖公署,下辖第66师、第69师、第72师编制不变。1948年3月至6月,该军在临汾战役和晋中战役中,第66师、第72师先后被解放军全歼。此次作战后重建第66师、第72师,由李树荣、陈振东分别任师长。晋中战役失败后,该军与其他晋军一起固守太原孤城。1949年4月,该军在太原战役中被解放军全歼,副军长娄福生及各师师长被俘。