3月23日，日军自峄县沿台（儿庄）枣（庄）铁路支线南犯台儿庄。守军孙连仲第二集团军第30师师长池峰城，以王冠五团扼守台儿庄，以王郁彬团北上诱敌。24日，敌以猛烈炮火轰炸刘家湖一带工事，然后以坦克为前导，向守军阵地猛冲。当晚，日军一部突破台儿庄城东北角。师长池峰城以一部坚守城内，将突入的日军迅即赶出城外；然后以大部在城外与敌人展开肉搏厮杀，常为争夺一村一地，与敌军反复肉搏一二十次。至25日晨，中国军队在援军炮兵和装甲列车的配合下，将台儿庄北丢失的五六个村庄相继收复。
日军伤亡惨重，一时无法集中全力攻城。但敌军续有增兵，并倚恃其优势火力，再次以步炮兵向台儿庄城四周阵地猛烈攻击，一日间落炮弹达六七千发；更以飞机轮番轰炸，迫使守军逐渐后退。然而守军以血肉之躯与敌方炮火、坦克相搏斗，至死不退，英勇坚守阵地。
3月27日，日军得到增援后，对台儿庄发起第3次猛攻，突破了城东北角，但受到守军的顽强抵抗。双方展开激烈的巷战，守军死伤近3000人，北面的城墙被日军重炮轰毁，城内阵线呈犬牙交错状态。日军福荣大佐指挥的攻坚部队主力南下，汇合攻城部队再次向城内猛冲。次日，日军占领了城西北角。城内守军第31师全力奋斗，由东向西发起反击；城外炮团积极配合，向日军猛烈炮击，遏制住了日军的攻势。
日军久攻不下，矶谷恼羞成怒，亲临台儿庄西范口附近督战。30日晚，日军占据了城内东半部。池峰城师决心与台儿庄共存亡，以血肉之躯与敌军坦克炮火搏斗，利用宅院墙垣同敌军展开巷战，在大街小巷与敌人白刃拼搏，至死不退。城外孙连仲部黄樵松、张金照两师进至台儿庄城外三里庄、板桥、南洛等地，两翼出击日军，截击日军炮兵部队，在城周围与敌人激烈厮杀，以减轻城内守军压力。
李宗仁急调汤恩伯军团迅速南下，夹击敌军，三令五申之后，汤恩伯仍消极避战。在姑婆山逡巡不前，迟迟不进。李宗仁严厉警告汤恩伯：“如再不听军令，致误戎机，当照韩复榘的前例严办。”蒋介石也致电汤恩伯，督令其率师南进。汤部不得不全军南下，以主力向台儿庄北部开拔。
台儿庄守军第31师的4个团已经伤亡过半；由第30师调入城内的两个团接替了部队阵地，伤亡也很严重。至4月3日，台儿庄城西北门、北门、东门、东南门均已陷于敌手，全城1A2的面积已被敌军占领。守军仍据守南关一隅，拼死坚守，并组成大刀队夜袭敌人，予敌以很大杀伤。
3日和4日，敌军连续发动了第七、八两次总攻，并且使用燃烧弹，妄图摧毁城内所有房屋和军民，将台儿庄夷为平地。城内各守备队利用地形和断墙残壁，筑起第三道阵地工事，挨街逐巷与敌人周旋搏斗，并组织起200余人的奋勇队，偷袭敌人据点，连连突破敌人阵地。
守军虽然英勇奋战，但伤亡太大，实力愈来愈不支。4日深夜，第二集团军司令孙连仲向李宗仁报告说：
“第二集团军已伤亡7A10。敌人火力太强，攻势过猛，但是我们把敌人也消耗得差不多了。可否请长官答应暂时撤退到运河南岸，好让第二集团军留点种子，也是长官的大恩大德。”
李宗仁思考良久，道：“敌我在台儿庄已血战一周，胜负之数决定于最后5分钟。援军明日中午可到，我本人也将于明晨来台儿庄督战。你务必守至明天拂晓，并要组织夜袭。坚持就是胜利，待明天援军到后，我们就可对敌人内外夹攻！这是我的命令，如违背命令，当军法从事！”
孙连仲组织夜袭已十分困难，预备队已全部用完，部队伤亡过大。但经他动员，轻伤员自动组织起来，主动要求承担向敌进攻的任务。孙连仲对师长池峰城说：
“士兵打完了你就自己上前填进去，你填过了，我就来填进去。有谁敢退过运河者，杀无赦！”
池峰城奉命后，知军令不可违，乃以必死决心，逐屋抵抗，任凭敌人如何冲杀，也死守不退。战至黄昏，敌人即停止进攻。至午夜，孙部先锋敢死队数百人，分组向敌逆袭，冲入敌阵，人自为战，奋勇异常，官兵手持大刀，向敌砍杀，敌军血战经旬，已精疲力竭，不料我军尚能乘夜出击。日军在慌乱中仓促应战，乱作一团，血战数日为敌所占领的台儿庄市街，竟为我军一举夺回3A4，敌人死伤累累。
5日拂晓，汤恩伯军团抵达台儿庄以北，我军遂对日军形成反包围，尔后内外夹击，在强大炮火支援下，以敢死队冲入敌军阵地，勇猛刺杀敌人。
4月6日，我军全线出击，杀声震天。敌军已成强弩之末，弹药汽油用完，机动车辆多数被击毁，其余也因缺乏汽油陷于瘫痪，全军胆落，狼狈突围逃窜，溃不成军。我军乘胜追击，敌除濑谷支队残部数千人逃掉外，其余全部就歼。
台儿庄战役，日军死伤2万余人，缴获各种大炮70余门，战车40余辆，装甲车70余辆，汽车100余辆，机关枪数百挺，步枪上万枝，及其它战利品。
日军在台儿庄吃了败仗以后，知徐州不可轻取，但并没有改变攻袭徐州计划，仍意在拿下徐州后攻取武汉。矶谷和坂垣两师团从台儿庄撤退后，重新集结，补充休整兵力，并从平、津、晋、绥、苏、皖等地陆续增调13个师团，计近40万人，日军组成了以桥本群作战部长为首的“大本营派遣班”，协调指导南北两兵团作战，日军兵分6路对徐州形成大包围，企图一举消灭徐州的中国军队。
蒋介石为扩大台儿庄胜利成果，采取与日军针锋相对的方针，从各战区调集大批军队，使第五战区的兵力由29个师增加到64个师又3个旅，共达60万人，试图在徐州与日军一决雌雄。
日军以第16、第144师团增援北线的第5、第10师团，沿津浦路向南推进，以诱引中国军队主力；以第14师团从濮阳渡黄河入鲁西南和豫东，断陇海路，从而阻遏援徐州之中国军队，亦断徐州守军退路；以第13师团在南线的蚌埠、怀远间集结；以第6、第9师团向凤阳、合肥进逼；以第101师团向苏北攻击。到5月中旬，日军已占皖北、豫南、苏北等地及合肥。
徐州四周为平原地带，日军是机械化部队，又多有空军助战，在此处打起来，中国军队要吃大亏了。李宗仁从持久消耗战的战略思想出发，认为在徐州同敌军作阵地相持的消耗战是愚蠢的。他为避免重蹈京沪战场的复辙，提出撤离徐州的意见，而军事委员会中的少数人却陶醉于台儿庄的胜利中。李的意见被否定之后，即部署徐州会战。
第五战区的中国军队在徐州附近地区进行了逐次激烈的抵抗，但未能挡住日军的攻势，徐州处于日军四面合围的险恶形势下。为了保存有生力量，国民政府军事委员会经汉口最高军事会议商讨，遂于5月15日决定放弃徐州。
5月17日，李宗仁下令所属各部按序列，部署逐次突围。令汤恩伯军团向西突围，猛烈冲击日军；又令孙连仲、张自忠、庞炳勋在运河设防，凭险固守，以掩护大军撤退。
日军见中国军队大幅度行动，随即迅速收缩包围圈，一则向运河攻击，一则阻止汤恩伯军团西进。
中国军队且战且退，阵形不乱，按步就班地向西向南撤退。日军阻一处，中国军队冲一处，无所不破，大军向河南南部及湖北北部集结，两路都相继冲出重围。
5月18日黄昏，李宗仁与长官部官兵一应人员700余人，乘夜色经宿县、蒙城，越过敌之包围圈移驻潢川。留守徐州城的刘汝明部同日军激烈战斗，日军见中国军队大部已走，企图于徐州城围歼刘汝明部。刘汝明部佯作死守状，及见各路大军撤尽，便弃城撤退，于19日离开徐州。敌军不但没有击溃刘汝明部，甚至连一个上尉也没有捉到。
徐州突围成功，日军捕捉我主力强迫决战的企图未能得逞。因而立即变更战略方向，以主力沿陇海路西进，期切断平汉路，尔后挥师南下，直取武汉。
守卫在平汉线上的部队属于程潜的第一战区。豫北中国守军为宋哲元第一集团军，其任务是利用豫北坚固的国防工事，阻止日军南下。土肥原师团于1938年2月初发动了对豫北的攻势。2月7日，日军第27旅团长馆惣率5个步兵大队、3个炮兵大队从大名出发，向南乐、清丰、濮阳一线推进。由于守军精神不振，战斗力薄弱，一经接火，就弃枪逃窜，使日军得以长驱直进，攻陷南乐、清丰、濮阳。
濮阳乃战略重地，程潜急令第77军副军长张凌云指挥3个旅以及张德顺骑兵师由东明、道口向濮阳反击，因其行动迟缓，畏敌不前，又遭失败。土肥原师团主力约3个联队1万余人也由安阳向平汉铁路万福麟、高树勋部阵地猛攻，宝莲寺陷入敌手。万福麟声称阵地被毁，两翼受围，伤亡严重，擅自命令放弃汤阴阵地，退至淇河南岸。
蒋介石闻讯，十分震怒。他电令程潜固守道清、滑县、浚县及淇河阵地。但宋哲元并未执行命令，他的副手秦德纯声称：“豫北我军兵力薄弱，应援不及，如两日内新乡无大部援军到达，深恐无法收拾也。”
果然，日军越过淇河逼近淇县，万福麟部又主动退至平汉路西侧地区，日军轻占淇县。
2月14日，濮阳日军一个混成联队5000余人，携带大量架桥器材和渡河工具迅速南下，当天侵入长垣，次日攻陷封丘，并向新乡南之平汉路急进。日军所到之处，如入无人之境，连陷新乡、获嘉、狮子营、修武。守军一退而不可收拾，毫无抗敌斗志，急先逃跑。宋哲元在从获嘉西逃时，差点被日军装甲车追上，当了俘虏。19日，日军数百人，坦克4辆，向焦作进攻，守军石友3师1个旅在阵地遭到炮击后即弃城而去。宋哲元第一集团军在豫北有近10万人，依据着坚固的国防工事，竟面对日军一个混成旅团的攻击，却不问敌情，闻风而逃。
战区司令长官程潜斥责宋哲元何以不战而逃，宋哲元称：“应力求避免与敌决战，以免部队作无谓的牺牲。”程潜非常气愤，命令第46军军长樊崧甫严密戒备黄河南岸，无战区长官命令，不得放任何部队渡过黄河，并炸毁了郑州黄河铁桥。
台儿庄战役后，程潜调集了大量精锐部队置于兰封、商丘、砀山之间的陇海铁路附近。日军兵分东、北两路向陇海路东段的中国守军发起攻势。
东路日军第16师团于5月18日攻陷丰县后，其快速纵队沿丰砀公路直扑砀山、商丘，攻势凶猛。5月27日，程潜命军长黄杰、刘汝明率部死守商丘、亳州，在兰封之敌未消灭前不得放弃。不料黄杰临阵脱逃，日军一个旅团于5月29日凌晨占领了商丘。
北路日军第14师团于5月9日向郓城、荷泽一线攻击。11日攻占郓城，次日零时又以骑兵一个联队向鄄城猛攻。13日，日寇14师团主力渡过黄河，由鄄城直攻荷泽，尔后向考城挺进。土肥原的第14师团主力在内黄、马庄寨、人和集一线，右纵队在仪封附近，共1万余人，炮100余门，战车100余辆，企图沿陇海路西进，直攻兰封。中国军队决定将土肥原师团围歼，蒋介石亲赴郑州督战。
5月25日开始，中国军队以手榴弹、大刀与敌肉搏，激战数日仍无进展。蒋介石迭下手令，训斥各军、师、旅、团长：“此次作战奋勇争先者极其少数，大都缺乏勇气、鲜自振作，遂致战局迁延。”遂下令将丢失兰封、归德的桂永清、黄杰两人撤职查办，枪毙了擅自退出兰封的第88师师长龙慕韩。
兰封会战，国民党以精锐部队13个师近15万人，竟未能歼灭被围困的土肥原师团近2万人，在战史上为一千古笑柄。
东路日军攻占商丘后，其一部沿陇海铁路向柳河、民权推进，主力混成第3旅团约4个联队于5月29日占宁陵，尔后陷睢县，向杞县进攻，同李汉魂军展开激战，企图由杞县直指汴都。
第一战区司令部决定全军向平汉线以西撤退。6月初，日军侵占杞县、通许、陈留、兰封。日军增援3000余人由白兰寨向北城进攻。敌重炮数十门、飞机10余架向开封城猛轰，日军步兵多次登上城头，均被击退。师长宋肯堂连发5个电报，称“开封城郊东、南各方战斗激烈，现敌尚陆续增加，如再战，难免于溃。”
程潜当即严令宋师与开封共存亡。敌军由开封东、北两门攻入城内，守军与敌展开巷战，但宋肯堂擅自下令撤退，并率先逃出开封。
日军攻占开封后，由开封进攻中牟。守军一个营顽强御敌，激战两日，伤亡殆尽，中牟遂陷。日军继续向郑州进逼。
东路日军第16师团攻占尉氏、扶沟，并向郑州和平汉线前进。是时，同蒲铁路南段已为日军控制，并窜到风陵渡的五七高点山，设置炮兵阵地，用15门大炮向潼关猛轰，与开封之敌遥相呼应，大有东西并进切断平汉线的趋势。国民党几十万大军狼奔豕突，竟无法摆脱敌人的追击，处境更为险恶。
郑州危在旦夕，万一郑州有失，武汉保卫战北路外围就会洞门大开。第一战区见事急，遂向蒋介石建议，利用黄河伏汛期间，掘开河堤，造成平汉路以东地区的泛滥。
蒋介石到了黄河岸边，拿起望远镜随便望一阵后，决定炸毁黄河大堤。但有些将领持有异议：“水淹三军，古已有之，但时至今日，这样做会不会牺牲太大？而且老百姓会不会有闲话？”
蒋介石说：“现在国难当头，一切以国家利益为重，我已经决定了，把郑州东北花园口附近的黄河大堤炸四五个大缺口，就可以利用黄河的水阻止敌人前进。”
蒋介石怕夜长梦多，随即把商震叫来，令他尽快执行这一任务：“要注意保密，绝不让日本人事先风闻！”
6月4日，第五十三军一个团先在中牟县境内赵口挖掘黄河大堤，次日又加派第三十九军一个团协助，并悬赏法币1000元，以图加快进度。当天夜晚，工兵营用黄色炸药和地雷炸开堤内斜面石基，开始放水，但因黄河冬春水落，水发量小，仅流丈余，即因决口两岸内斜面过于急峻，遂致倾颓，水阻塞不通而告失败。于是在第一道掘口以东30米处掘第二道决口。又命新8师师长蒋在珍于6月7日在郑州以北花园口关帝庙西重新掘堤。为加快速度，由黄河大堤之南北同时动工，师长蒋在珍和副师长朱振民前往督工。
同日，蒋介石闻赵口第二道决口因塌方亦告失败，异常焦灼。他一日三四次询问决口情况，并要蒋在珍随时汇报。在蒋介石监督下，花园口决口加宽至50米，斜面徐缓。
6月9日晨6时，花园口黄河大堤用炸药炸毁堤内斜面石基，9时放水，水势不大，约1小时后，因水冲刷，决口扩至10余米，水势遂猛烈。后又用平射炮两门，向已挖掘的堤岸轰击，将缺口又打宽约2丈，水势骤猛，似万马奔腾。时值大雨，决口愈冲愈大，水势漫延而下，京水镇以西一片汪洋，尽成泽国。河水沿京水镇以南的索须河、贾鲁河以东向东南流去，开始流速尚缓，3日后水流到达陇海线的白沙车站附近，其水幅约二三里。与此同时，赵口决口亦被河水冲刷开来，达六七十米宽，水深丈余，浪高3尺，其水由赵口以西三刘寨向南流去，在中牟同花园口水流汇合继续沿贾鲁河南泻，水头经尉氏、鄢陵、扶沟、西华、太康、淮阳，20日抵达周家口，由周家口流入沙河向太和、阜阳而去，入淮河，经洪泽湖至界首汇入运河，沿运河南下进长江。
整个黄泛区由西北至东南，长达400余公里，流经豫、皖、苏3省44个县，淹没耕地1700多万亩，冲毁民宅140万余家。浮尸遍野，90万人死亡，1200多万人挣扎在泽国汪洋之中，并造成了连年灾荒。难民流离失所，哀号无边。
日军从北边进攻武汉的行动受阻，便改变进攻策略，重新组编战斗序列，以畑俊六大将为华中派遣军司令官，下辖第二军和第十一军，集12个师团40万之众，于长江流域，配合海军陆战队，以500架飞机协战，分4路西逼。在长江以北为两路：一路从大别山北路进攻信阳；一路沿长江北岸直扑汉口。在长江以南也分两路：一路沿南浔路南进；一路沿瑞武路西进，直取武昌。另以舰队溯江而上，视机随时登岸作战。
蒋介石调集100万兵力对付日军，共60个师，其中有骑兵、炮兵、工兵、飞机和长江舰队。蒋介石从国外购买作战机100余架，野炮、高射炮、轻榴弹炮、战车防御炮100余门。
蒋介石在武汉主持军委讨论制定保卫大武汉作战计划，其总体战略方针是：将主力军置于武汉外围，争取行动上的进退自由，利用鄱阳湖和大别山的自然屏障，以及长江两岸湖泽丘陵作持久战；守备现有的华南、华北、华东阵地，实行积极的游击战争，阻滞长江航运，全力在长江下游消耗日军，不让日军攻到九江，从而形成武汉屏障，争取同日军主力打4—6个月。
蒋介石说：“战争打到现在，基本是平原作战，现在战场移到山地和湖泽，已对我军有利。湖北是‘千湖之省’，遍地为湖，都是地障，武汉地处千湖中心，千湖之中，约有1A3在武汉东侧，此是绝大的地利。日军北面已为黄泛区所阻，唯一攻击面是东面。从日军战略看，是要以速战攻取武汉，压迫我政府屈服，同时歼灭我军主力。我们的计划是固守5个月左右，以武汉会战彻底打破日军的速胜战略，此种会战本拟在徐州进行，因地形不利，而移武汉。武汉东连吴会，西通巴蜀，南接岭表，北带中原，有九省通衢之称。武汉的地位十分重要。此次保卫武汉的战役，乃是我们国家前途和整个抗战局势最重要最紧急的关头，其成败得失，内则关系我抗战前途和国家民族的安危，外则足以影响国际局势，实在是关系重大的一件大事。”
保卫武汉的具体布防是：
程潜的第一战区，主力布防于汜水、确山，主防黄河、河南东部、山东西部，重点放在郑州南部的禹县。兵力分为3股，一是在郑州西北的黄河北岸泌阳一带置预备队：二是向河南北部的日军以游击方式出击骚扰；三是以相当兵力为前锋接敌阻击前进。
李宗仁的第五战区，主要任务是确保大别山阵地，遏敌前进，同时向津浦路南端出师，以游击方式对日方施行骚扰，破坏其后方补给线。兵力分为3处，一处驻防商丘，目标在于侧击向西南进攻的日军；一处在六安、舒城、桐城一线，目标是阻击西进的日军，一处在安庆、无为、庐江一线固守，目标是从侧面向沿江西进的日军发起进攻。
新组编第九战区，以陈诚为司令长官，下辖薛岳第一兵团，李汉魂第二兵团，武汉卫戍部队和江防守备部队。在第三战区、第五战区背后的鄱阳湖以西作第二道屏障，主阵地设在平靖关和广济一线。城防用8个师；另以6个师与第三战区比肩江防，设重兵于马当要塞以求固守。再以一部分兵力与第五战区比肩，师出宿松、信阳一带制敌。
顾祝同的第三战区，重点是长江防御，主要阵地是在长江南岸的东流和马当之间，随处阻止日军登陆，尤其要协助第九战区固守马当要塞，造成武汉外围鄱阳湖以东战场；同时与东面江北的安庆相呼应，扼住日军西进的主要通路。同时扼守杭甬、浙赣等交通线。
汤恩伯的豫鄂边区总司令部，集中兵力于南阳、襄樊一线，目标在于协助第九战区制敌。日军如由平汉线南下，就从侧面向日军发动猛攻；日军如由陇海路向西或向南，就与第一战区一起协力制敌。
空军主要集中在汉口、南昌两个机场，其任务是：不分日夜地对长江中的日军舰轰炸；遇有日机西来，即起飞迎战，携弹轰炸南京、芜湖一带的日本飞机场。
海军主要防止沿江要塞马当、湖口等地，择点布雷，封锁长江、阻止日舰前进。
