该军前身是桂系军队一部。1948年11月,国民党军为加强中南地区的防御力量,以桂系军队为基础,新建第304师、第305师、第306师。1949年5月,第304师、第305师、第306师合编为第126军,隶属华中军政长官公署,张湘泽任军长,王卫苍任副军长。下辖:第304石,韦介伯任师长;第305师,姚葛民任师长;第306师,梁泮池任师长。同年11月,该军在广西战役中被解放军全歼。