历史上的红二十八军曾组建过两次，但均被编入红二十五军。

1934年11月，鄂豫皖苏区的红二十五军奉命实行战略转移。在红军主力撤出后，留下的部分武装因力量分散，缺乏统一指挥，难以适应严酷斗争环境的需要。1935年2月，省委决定将分散在鄂豫皖各地的红军游击队集中起来，重新组建红二十八军，由原红二十五军七十五师政委高敬亭负责完成组建工作。全军1400余人，高敬亭任政委（未配军长），统一领导鄂豫皖苏区的党政军工作。

红二十八军军部旧址

重建后的红二十八军，始终坚守在鄂豫皖苏区进行艰苦卓绝的游击战争。它是中国工农红军主力长征北上后，唯一成建制留在南方坚持斗争的红军部队。

早在1935年1月8日，蒋介石便发出命令，要在三个月内将鄂豫皖红军游击队“完全扑灭，永绝后患”。国民党集中56个团计10万余人，从四面八方合围红军。重建后的红二十八军在敌军重点合围的情况下，争取灵活机动的战略战术，不怕牺牲英勇奋战。他们在高敬亭的指挥下，东进潜山，西击太湖，南下蕲春，积小胜为大胜，打了一系列漂亮仗，不仅保住了老区，还开辟了新的游击根据地，粉碎了蒋介石三个月“完全扑灭”鄂豫皖红军的计划。

国民党不甘心失败，紧接着制定了为期两个月的“清剿”计划。这次敌军集中61个团，对红二十八军发起更疯狂的进攻。红二十八军在地方游击队配合下，声东击西，转战千余里，歼敌6个营，又一次粉碎了敌军“两个月消灭红军”的企图。

红二十八军革命根据地

蒋介石因消灭鄂豫皖红军的计划一再泡汤而恼羞成怒，于1936年2月重新调整部署，任命卫立煌为“鄂豫皖边区清剿总指挥”，调动9个师另1个旅共44个团，再次对红军进行大规模清剿。这次“清剿”一直持续到抗日战争全面爆发。

在极其残酷的战争环境里，在长达3年多的时期里，红二十八军以不足2000人的兵力，转战于鄂豫皖边区的崇山峻岭，不但未被消灭，反而越战越强，逐渐锻炼成长为一支拖不垮、打不散的红军主力部队。

1937年7月7日，抗日战争爆发。12月底，高敬亭、肖望东代表红二十八军到汉口八路军办事处，参加中共中央长江局召开的部队改编会议，确定红二十八军和大别山红军游击队改编为新四军第四支队。1938年3月8日，四支队在七里坪召开东进誓师大会，之后开赴皖中抗日前线。