该军前身是皖系军队第2混成旅。1927年3月，国民革命军北伐抵达安徽时，安徽陆军第2混成旅旅长马祥斌率部归附北伐军后，该部被改编为国民革命军独立第5师，归国民革命军第33军指挥。同年6月，该部被扩编为暂编第11军，马祥斌任军长，刘和鼎任军参谋长。下辖：
第1师，张敬芝任师长；
第2师，阎统贯任师长；
第3师，秦庆磷任师长；
教导第1师，张敬尧任师长；
教导第2师，袁家骥任师长。
6月下旬暂编第11军归津蒲线王天培指挥，北上讨伐张宗昌。马祥斌率军由合肥出发，经毫县、砀山进入鲁境的单县、全乡，一路上节节胜利。7月下旬，由于武汉政府发起反蒋之战，蒋介石抽调津蒲前线部队回江南对付武汉政府军，直鲁军乘机反攻，王天培部由藤县败退，从而致使暂编第11军陷入孤军作战，在遭受重大损失后撤回到安徽蚌埠、毫州等地进行修整。8月4日，张敬尧残部两个旅被张宗昌收买而叛变，将军长马祥斌劫持北去。同年11月，马祥斌被张宗昌处决后，该军番号被撤消，恢复原独立第5师番号。
