1931年底，在中央精神的指引下，陕西省委加紧了创建红军的工作，使游击战争在陕甘边区广泛开展起来。
1932年1月中旬，陕西省委派军委书记李杰夫（又名高维翰）来到部队，要求部队打出红旗，改编后南下渭北开展游击战争。
2月，根据省委的指示，西北反帝同盟军在甘肃正宁县三家原改编为中国工农红军陕甘游击队。李杰夫在2月12日的军人大会上，宣布改编命令：
“将西北反帝同盟军改编为中国工农红军陕甘游击队（简称陕甘游击队）。”
同时，还宣布了游击队的建制及主要负责人名单：谢子长任总指挥，李杰夫（后叛变）任政委，杨仲远任参谋长。下辖4个大队，第1大队队长阎红彦，第2大队队长吴岱峰，骑兵大队队长强龙光，警卫大队队长白锡林。游击队还成立了中共陕甘游击队委员会。
这次成立陕甘游击队，还举行了授旗仪式，正式打出工农革命的旗帜。队员们身系红色“牺牲带”，手持长枪大刀，表示要为革命取得成功，不怕流血牺牲奋斗到底。
改编时，刘志丹离开游击队赴省委汇报工作，随后在渭北搞了一段农运工作，后又返回陕甘边地区。此时游击队分为第3、第5两个支队，刘志丹任第3支队支队长，率部在永丰、乾县一带开展游击战争。
1932年12月上旬，各路游击队在甘肃合水县黑慕塬、塔尔塬地区会师，旋即南下淳化地区打游击。此时，根据中央北方会议精神，省委指示部队开往陕西宜君县转角镇整编，准备改编为红26军。
12月24日，省委书记杜衡在陕西宜君县转角镇召开军人大会，宣布中国工农红军陕甘游击队改编为红军第26军。下辖1个团。杜衡兼军、团两级政委，王世泰任团长。
红26军下辖的这个团，很快被宣布为红2团。
红2团成立后，除了决定团长和政委外，还任命郑毅为团参谋长，刘志丹为政治处处长，刘约三为团经理处（后勤处）处长，杨琪为管理处长，下辖3个连，李亚夫为步兵连长，李兼荣任指导员；曹胜荣任骑兵连连长，张秀山任指导员；王有福任少年先锋连连长，魏武任指导员，全团约200余人……
这个红2团，就是后来347团的根基。
