当吴佩孚和张作霖联合起来对付冯玉祥的国民军时，冯玉祥宣布下野，并且自我放逐，前往苏俄考察。他于民国15年5月赴莫斯科，在莫斯科和列宁格勒前后耽搁了三个月。在这三个月中，国内局势大变，他的嫡系部队苦战南口，另一部分往包头撤退，在南口的军队虽然打得很激烈，可是损失也很惨重，南口失陷后就溃不成军，在包头的石友三、韩占元、韩德元等部，则投靠阎锡山。此外则是国民革命军北伐的好消息。
15年8月17日冯玉祥由莫斯科启程回国，经西伯利亚铁路到达上乌金斯克，然后换乘汽车赴库伦。他这次回国是要参加国民党和国民革命军，在库伦开始学习国民党的开会仪式，同时准备汽车粮秣。9月10日由库伦动身，前往包头，在路上碰到溃退的国民军将领，又遇见了于右任，于当时也打算取道库伦往海参崴，再绕海道去广东，于、冯晤面后大家很高兴，就集合在一块去包头。从库伦到包头要经过内蒙的边界和绥远，平沙漠漠，一望无际，偶不小心就会走错了路。在途中冯获知他的旧部佟麟阁、孙连仲、刘汝明等都率部开往甘肃，已过五原，张之江和鹿钟麟则在五原扎营，于是冯等一行决定先赴五原。经过阴山山脉和戈壁沙漠，遇上了宋哲元，9月15日鹿钟麟赶来相迎，当天下午到达五原，西北的败军大批集合在此，除了国民一军外，还有三军的孙岳，五军的方振武和六军的弓富魁。
五原是一个空落落的土园子，人烟稀疏，荒凉冷落得赶不上内地一个较大的乡镇。大家劫后重逢，恍若再世，当时一致推举冯就任国民军联军总司令。
15年9月17日冯玉祥就职誓师，于右任以国民党中央执行委员会常务委员的资格为授旗的党代表，他在就职宣言中说：
“……现在我所努力的，是遵奉孙中山先生的遗嘱，进行国民革命，实行三民主义。所有国民党一、二两次全国代表大会宣言与议决案全部接受，并促其实现。……至于政治主张，我既是一个国民党党员，是国民政府委员之一，一切由国民党决定，国民政府主持，我唯有与诸同志集合全体的力量履行就是了。”
这天于右任头发蓬乱，胡须黑多白少，长及腹部，戴着一顶半旧的黑色学生帽，上穿夹袄，下穿棉裤，外罩一件黑色皮大衣，脚上玄色鱼头布鞋，白布袜子已成灰色。与会官兵服装都是五颜六色，破鞋破帽，领章肩章全没有，有的戴奉军皮帽，有的戴直军布帽，七零八落，非常褴褛。
冯玉祥在五原组军，以鹿钟麟为参谋长，何其巩为秘书长，李兴中为参谋处长，陈连富为副官处长，徐庭瑶为军务处长，宋式颜为军械处长，过之翰为军需处长，张吉墉为军法处长，张允荣为内防处长，薛笃弼为财政委员会委员长，石敬亭为政治部长，乌斯马诺夫（苏俄人，随冯自俄来华）为顾问。
国民军旧部自冯在五原就任总司令后，即纷纷来归，张之江由宁夏来五原，石友三亦由包头赶来，当时包头是阎锡山的势力范围，可是部队全是国民军，所以冯即偕石友三去包头。
于右任已完成了把冯玉祥的国民军纳入革命军系统内，就由五原前往陕西。孙岳在五原病重，因为过去几个月作战辛苦，更加重了他的病势。他的部队改归徐永昌指挥，后来徐永昌率旧国民三军由陕北入山西，驻峪道河。国民二军自在天津战败后，大部退洛阳，岳维峻被俘至山西太原，其残部由李虎臣率领进兵西安，和国民三军的杨虎成等部会合。这时陕西境内有各派系的军队，刘镇华奉吴佩孚命进潼关夹攻西安，井岳秀驻榆林坐观成败，吴新田亦奉吴佩孚命以汉口为根据地。李虎臣、杨虎臣在西安城内被刘镇华所部4万人围困达七八个月，冯玉祥组军后即决定取道甘肃分十路援陕，以解西安之围。
甘肃驻军也非常庞杂，有的受张作霖命令，有的由吴佩孚委任。吴佩孚委张兆甲为甘肃督军，张兆甲据陇东，又委孔繁锦为甘肃省长，孔据陇南，两股力量联合，一自陇东，一自陇南向兰州挺进。兰州在刘郁芬手中，刘郁芬是国民军的师长，由冯委为甘肃督军，下辖两旅，一个旅长是孙良诚，一个旅长是张维玺。兰州附近防御阵地相当坚固，孙良诚又骁勇善战，因此不仅击溃了来攻的部队，并且乘胜进兵陕西，解了西安之围，从兰州到西安是一场艰苦的长距离行军，孙良诚苦战数月，居功最伟。
西安解围后，15年12月上旬冯军攻破潼关，刘镇华率部东退，刘部镇嵩军且有一部为冯军内应，刘乃退陕州。
潼关之战的变化是由于华阴庙一战（华阴庙在潼关西40里），是役刘军损失极重。旧属刘镇华的陕军麻振武部亦自渭北渡河，加入攻刘。刘军大半缴械，纷纷东奔。
16年1月上旬冯军进驻西安，以石敬亭为陕西省主席。石字筱山，山东利津人，出身第一混成协学兵，满清时曾考秀才，写作俱佳。冯玉祥对石极为赞许，称石为人肝胆义气，勤勉惕励，对主官真心真意，处同僚上下和睦，言动有则，事事都有计划。
16年5月1日，国民政府任命冯玉祥为国民革命军第二集团军总司令，冯即在西安宣誓就职，誓词云：
“谨奉国民政府命令，于十六年五月一日劳动节，在西安率全体革命将士，以为大多数被迫民众谋最大幸福之决心，联合革命民众，将全力献给于党，拥护党之主义及政策，与国际帝国主义者及国内一切反革命势力作最后之决斗，完成国民革命，悬此目的，生死赴之，谨宣誓于青天白日旗帜之下。”
5月6日冯玉祥移驻潼关，率领第二集团军准备会师潼关收复洛阳，其战斗编制为：
第二集团军总司令冯玉祥
中央军总司令冯玉祥（兼）
右路军总司令孙连仲
左路军总司令徐永昌
南路军总司令岳维峻
北路军总司令宋哲元
5月26日攻下洛阳，奉军军长万福麟乘火车头东逃。冯玉祥令孙良诚率军沿陇海线向郑州东进。以第五路军由洛阳经孟津、偃师向郑州进攻，27日攻占孟津，28日越过偃师，30日克复孝义。骑兵集团则出巩县向汜水、郑州方面追击。第一路军亦由登封小道抄袭密县。郑州处于腹背受敌之势，因此北洋军分东北两路溃退，30日晚占领郑州，6月1日占领开封。
6月4日京汉路革命军抵郑州。谭延闿、汪兆铭、徐谦、孙科、顾孟余、唐生智均连袂抵郑，即派代表至潼关迎接冯玉祥，冯于6日抵郑州，12日开党政军联席会议，决议划定新战区，陇海路以北，平汉路以东归冯玉祥负责，唐生智所部则撤回武汉整补。冯部各路军均改编为军，军之上为方面军，编制如下：
西北军总司令冯玉祥
第一方面军总指挥孙良诚
第二方面军总指挥靳云鹗
第三方面军总指挥方振武
第四方面军总指挥宋哲元
第五方面军总指挥岳维峻
第六方面军总指挥石敬亭
第七方面军总指挥刘郁芬
第八方面军总指挥刘镇华
靳云鹗本是吴佩孚的嫡系，因为反对吴联奉而被吴免职，后来又因奉军对靳攻击而穷无所归，冯玉祥军出潼关后，靳乃投奔冯。
这时革命军已次第克复蚌埠、徐州。蒋中正于6月中移节徐州，特召集李宗仁、白崇禧、王天培诸将领开军事会议，电邀冯玉祥参加。19日冯应召抵徐，蒋中正率李宗仁、白崇禧等重要将领，亲迎冯于九里山西麓车站。20日中央委员胡汉民、吴敬恒、李煜瀛、李烈钧、张人杰等亦自南京来徐州，晚间即在徐州花园饭店宴冯。蒋中正即席发言说：“此次南北军事领袖把臂言欢，商洽党国大计，意义极为重大，真是革命史上最重要的一页”。冯说：“军阀对我辈称为南赤、北赤，今天两赤见面，就是为了救中国”。吴敬恒说：“我们的赤，是赤裸裸的三民主义，纯洁无瑕，不含渣滓，以总理的三民主义救中国。”席散后，由李烈钧居间沟通蒋、冯的意见，李烈钧与冯有旧，所以奔走其间。此时正值宁汉分裂时期，蒋希望冯玉祥出兵沿京汉路直下武汉，渡江北伐的革命军则返归南京，溯江西上。冯玉祥认为革命军当面的奉军、直鲁联军是真正敌人，宜先以全力将之扑灭。武汉方面是自家人，小有意见，何必认真，更不必以兵戎相见，徒给敌人造机会。他反对对武汉用兵。
李烈钧、李煜瀛和吴敬恒等中委从中反复奔走，舌蔽唇焦，磋商两日，毫无结果。冯以阅兵为词，不辞而别，径返开封。徐州会议无疾而终。
蒋中正面对这个形势，只好先以一部分兵力防守长江上游，利用冯玉祥对奉军和直鲁联军的同仇敌忾，决定先用兵鲁南，予北洋军阀重创后，再回师西征。故以第一路军的一部，第二路军的全部及第三路军的主力分别扫荡鲁南的日照、临沂、台儿庄、临城。
张宗昌因为山东是他的根据地，所以拼死抵抗，又因知道革命军内部有困难，遂守临沂以牵制革命军，革命军围城将近30日，最后在无结果情况下被迫后撤。
河南方面靳云鹗投靠冯玉祥后，16年9月初冯、靳反目，冯乃免靳第二方面军总指挥职，冯玉祥的鱼电如下：
“靳总指挥荐青同志鉴：第二方面军总指挥靳云鹗违抗命令，贻误戎机，蓄谋反动，逆迹昭彰，若再曲予包容，必将贻祸党国。靳云鹗着免去本兼各职。其第二方面军总指挥一职，着由军长马吉第升充，并令秦军长德纯为副总指挥。该员自此免职以后应闭门思过，力改前非，仍当念其前劳，随时录用，幸勿怙过不悛，终身莫补，致负本总司令曲予衿全之意，是所厚望焉！此令。”
马吉第和秦德纯都是靳云鹗所属军长，冯免了靳职，用他下面的人递补，很是辣手。靳于9月7日发表阳电云：
“各报馆钧鉴：顷奉冯总司令鱼电，等因，并据马军长吉第阳电称，冯军兵力约有步兵两师，骑兵两旅，炮兵两团，于今早在长葛和尚桥两处与职军所部开火，现正在激战中。李军长镇亚歌电称，冯军韩复渠率三师兵力约两万人，突至登封临汝附近，我军众寡不敌，退入城内，现该城已四面被围，音信不通。并探得有向禹州进攻之势，各等情，云鹗当复冯总司令一虞电，其文曰：郑州冯总司令勋鉴，鱼电祗悉，查此次驻军京汉，不即东进，系遵国民政府迭次秘令，防止我公异图，巩固党国根本，中经我公数番督令，均皆电呈政府，请赐明示。嗣奉明令改令云鹗为中央直辖第八方面军总指挥，云鹗因与公同隶革命旗帜之下，且又患难与共，迟不就职，无非为保固革命战线，仍惟我公马首是瞻。此心此志，天日共鉴，委曲求全，已无遗憾。不图诚信未孚，深文周内，置辩无从，友爱难期。我公颠沛流离，造成今日之地位，果具大勇最后之觉悟，云鹗仍本初衷，不为已甚。惟希慎处，并盼教益，毋任翘祷等语。谨电奉闻，伫候明教。靳云鹗叩。阳申。（九月七日电由汉口发）”
唐生智则为靳云鹗发出声援电报云：
“生智于元日自皖回鄂，江汉安堵。方幸汉宁同志合作，拥护中央迁宁，党内一切纠纷，悉由第四次全体会议解决，凡我同袍，必能及时整军，一致北伐。不图东南之扰攘方息，而河洛之风云复起。迭据各方报告，第二集团军与中央直辖第八方面军，偶因误会，遽起冲突，同室操戈，良深悲悯。焕章同志年来为党奋斗，孤军万里，今年会师汴郑，收复河北，险阻艰难，备尝之矣。荐青同志去岁反吴，今年讨奉，坚苦卓绝。再接再厉，不为威屈，不为利诱，此皆忠实同志，党国干城。奉张未灭，吾侪武装党员，允宜捐除成见，意气纵未易平，患难耍当与共。忍因小嫌而乱大谋，敢垂涕以相劝谏。并请各方同志共任排解，振导祥和，团结本党武力，完成国民革命，打倒帝国主义工具之张作霖政府，建设三民主义的新中国，掬诚奉达，敬乞垂察。唐生智叩。删。”
冯玉祥决心整肃靳云鹗，9月5日集结所部兵力暗中部署，7日命孙良诚由北南攻，11日占偃城克漯河，靳云鹗出奔上蔡、项城。孙连仲部担任由南北攻，两面夹击，靳虽奋战，但力不能支，带领少数卫士逃赴皖北，然后跑到上海。
民国16年秋冬之际是革命军北伐的中挫。当张宗昌攻下临城、徐州后，革命军向南转进，冯玉祥的西北军亦退守归德。陇海路东段革命军之联络遂被截断。孙传芳率军渡江南侵时，直鲁联军亦向河南冯玉祥部、山西阎锡山部进攻。
陇海铁路横贯中国大陆，沿黄河南岸蜿蜒而东，连贯津浦、京汉两条铁路，横穿西北高原和淮海平原，尤以洛阳至徐州一段横断中原战场，为兵家所必争。
16年10月上旬，褚玉璞指挥第四军方永昌部，第五军王栋部，第六军徐源泉部及袁家骥军兵力共约10万余人，10月10日越过杨集进攻冯玉祥军。
同一时期，冯玉祥则将其所部分为三路部署：
第一路由鹿钟麟指挥庞炳勋的第廿军，杨虎臣的第十军，吕秀文的第廿一军，及王鸿恩师、萧之楚师、王钰棻师、常好仁师，兵力共5万人，由马牧集经砀山向徐州进攻。
第二路由刘镇华指挥所部第八方面军全部兵力约8万余人由考城向济宁进攻。
第三路由孙连仲指挥所部第十四军及梁寿恺、秦德纯、韩德元等部第廿三军，兵力共4万余人，由大名向德州进攻。
总预备队是第六军韩复渠部，第三军孙良诚部，第五军石友三部，第四军马鸿逵部，及郑大章的骑兵军，共约9万人，集结开封、郑州附近。
10月9日冯玉祥军各路部队集中完毕，开始前进。冯部虽有三路大军，但第二路军刘镇华部因分子复杂，多所牵制，未能如期进展；第三路军孙连仲部亦因受到牵制，行动不便，不能孤军远出。10月10日鹿钟麟在马牧集以东沿陇海路两侧与褚玉璞军开战。褚军10万人，第一线兵力即达5万，众寡悬殊，鹿军败北，褚军乘胜追击，来势甚猛。冯玉祥综合各方情况，认为褚军主力使用于黄河以南，在黄河以北仅为助攻，乃决定以最小限度兵力拒止黄河北岸褚军，而集中主力于黄河南岸。以一部主力在兰封附近迎击褚军，而控置强大预备队于开封附近。10月19日褚军铁甲车已抵内黄，冯玉祥乃于当晚放弃兰封，诱敌深入，选定杜良集至杞县构筑阵地。10月26日起自黄河南岸至杞县间战况极为剧烈，30日冯军改守为攻，一举击溃进攻之褚军，11月1日克复兰封。2日占领柳河、李坝集、内黄。3日收复考城，6日越马牧集以东，郑大章军则到达砀山以西。冯玉祥考虑各种情况，认为不宜孤军深入，乃决定放弃所得各地，撤回兰封附近以待敌军深入而聚歼之。
冯军撤回兰封附近，以第三、四两军集结兰封以东，左翼依托黄河；以第五军集结于杞县东北的柿园集附近；以鹿钟麟军一小部分留守归德，余向太康、杞县集结；以第六军控制郑州，其中一师开赴黄河北岸；以刘镇华集结考城附近；以郑大章骑兵军在太康附近掩护右翼侧背之安全；令第二军迅速由陕西、大荔东开至开封集结。
褚玉璞的败兵退至夏邑、单县、城武一带甫告立足，正拟据守整顿，同时从济南各处调集援军十八辆列车，忽见冯军于大胜之余突然撤退，极为惊讶，揣测必是冯军后方发生了问题，因此调集新锐部队十二三万人分三路进犯。由褚玉璞自为前敌总司令，指挥各军分三路进攻河南，以第六军徐源泉、第七军许琨、第五军王栋、第四军方永昌等部兵力为中路，由徐源泉为指挥官，沿陇海路线西进；以第十三军刘志陆，第八军柴云升等部兵力为右路，由刘志陆为指挥官，自城武、单县进窥考城，以扑开封；以第二军张敬尧、第卅军毛思议等部兵力为左路，由张敬尧为司令官，自夏邑经商邱、宁陵、睢县向杞县、太康前进。
褚军展开攻势后，11月16日攻陷考城。这时津浦路方面何应钦已攻克蚌埠、固镇。因此津浦、陇海两路军事行动已逐渐可以呼应，冯玉祥乃转守为攻，以鹿钟麟迎击睢县褚军为右路；以韩复榘进驻兰封附近，迎击陇海路正面为中路；以孙良诚与刘镇华部协同攻击考城为左路，以郑大章的骑军自右翼迂回攻击褚军侧背。
左路孙良诚于11月24日出动猛攻，大获全胜，三天内歼灭褚军2万余人，斃军长潘鸿钧，俘获旅长以上四人，虏枪械1万多枝，乘胜进攻单县、菏泽，至17年1月29日克曹县，俘官兵3000人，击弊军长姜明玉。
中路韩复榘亦于11月24日行动，在柳河、李坝集、柳河集与褚军大战，韩复榘率卫队2000余名亲自督战，战况激烈异常，大破褚军，12月1日抵达砀山附近。
右路军鹿钟麟所部正面的敌人为张敬尧、袁家骥等部，曾经一败再败，士气不振，11月23日鹿钟麟部自杞县前进，即攻入蓼堤岭、马头集，24日攻入榆厢铺，26日占领睢县，乘胜长驱，27日占领归德，12月1日占领虞城。
豫北方面10月中旬直鲁军孙殿英、袁振青等部3万人犯彰德攻陷汤阴、临彰，冯部孙连仲急调军增援，10月20日击败孙殿英军，解彰德之围。因兰封方面战事告急，韩德元、冯治安两师南调，孙殿英由内黄、长垣进犯，11月4日占领卫辉，7日彰德、淇县、汤阴再度陷落、冯玉祥乃决定在豫北取守势。
当冯玉祥的西北军于兰封附近两次会战，击溃褚军时，也正是津浦路的革命军在蚌埠附近击破孙传芳，攻克蚌埠和固镇，正向北面推进之时。于是冯玉祥决心继续东进，会攻徐州，俾津浦、陇海两面战线得以连成一气。
韩复榘部12月1日占领砀山，2日进占黄口，直鲁联军的溃兵正在徐州九里山一带整顿，郑大章的骑兵军突自右翼绕出，进占徐州城西卧牛山，直鲁联军四散溃走，韩复榘部第六军即于12月3日向徐州挺进，占领陇海路徐州车站，并截断津浦路，围攻徐州城垣。
北洋军的巨头张宗昌、孙传芳、褚玉璞及其他多数高级将领均在徐州围城内，忽见冯军突然而至，乃一面负隅死守，一面飞调徐州以南及以东军队与在济南的后方部队星夜赴援。而冯军久战俱疲，未能发挥最大一击，迨北洋军大量增援后，徐州附近的据点均告放弃，冯玉祥亦下令所部后撤，扼守李庄、黄口以待津浦路革命军进展，会攻徐州。
冯军后撤时，褚玉璞即指挥徐源泉等部3万余人跟踪追击。12月9日津浦路何应钦部已进至曹村，何即电约冯军于14日合攻徐州，冯玉祥因当面敌军主力集结铁道以北，为了便于前进包围徐州，乃调整攻击部署。先将正面的褚玉璞3万余人击破，随即以主力东进。何应钦方面原定14日发动总攻，不料北洋军先于13日反攻，幸被何应钦发觉，提前出击，大破北洋军，15日进占徐州附近各山地，冯军复自其侧背加以威胁，北洋军势遂不支，向鲁境溃退，12月16日革命军再度克复徐州。
在这场战役中，冯玉祥军的谋略颇为成功，当冯军在兰封第一次会战胜利后长驱东进，本可一鼓进出徐州附近，但因为左侧暴露，又和津浦线的革命军未及取得连络，且当时北洋军力量尚强，冯乃断然西撤，再把敌方主力吸引到徐州以西，在陇海线上施行第二度的后退歼灭战，同时让津浦路北伐大军进展容易，褚玉璞是个老粗，见到冯军后撤，立即追赶，结果在兰封遭受到第二次的覆败。
可是冯军也有弱点，当兰封第二次会战胜利后，应该乘胜追击，一击进迫徐州，这时张宗昌、孙传芳、褚玉璞均在徐州，如果对徐州坚阵封锁，围而不击，待何应钦大军到达后再统一部署，协力进攻，则不仅徐州旦夕可下，张宗昌、孙传芳、褚玉璞等都可能一网打尽。可惜冯军久战，疲愈不堪，攻抵徐州时，既无攻击计划，又缺乏充分兵力，因此对方南北两面大军增援后，即告不支而退，迨何应钦大军驰援，徐州虽克，可是张宗昌等均已先逃，未能一网打尽。
北洋军阀的失败因素很多，其中之一是互相通报多不真实，互相欺蒙，所有真实情况亦不相告，以致联络等于虚设。
