1917年秋，李宗仁所在的部队改为护法军，开赴湖南安仁县，同北洋军作战。部队进入阵地后不久，营长因突发高烧，转送后方治疗，李宗仁奉命代理营长。次日晨，敌军在一阵猛烈炮火后，蜂涌而来，友军阵地被突破，为遏制溃势，李宗仁令营部号兵吹冲锋号向敌逆袭，不料竟无一兵一官向前跃进。李宗仁见情势危急，乃奋不顾身，跃出战壕，拿起营旗冲向敌阵。全营士兵见营长带头冲锋，也蚁附而前。李冲入敌阵后横冲直撞，异常剽悍，全营士气因之复振，喊杀声震天动地，顷刻间当面之敌被击退。李宗仁赶紧指挥全营占领阵地，不料在观察敌势时，被敌一排机枪打中胯下，李虽倒地，仍不忘指挥战斗，大呼冲锋不止，全营乘胜追歼溃敌。战斗结束，李宗仁因在战斗中的出色表现，得一“李铁牛”的诨名，骁勇善战之名在军中渐渐传开，李也因作战勇敢，指挥得当，被升为营长。
年底，陆荣廷与北洋直系军阀通款言和，李宗仁营奉命开往广东新会驻防。按惯例，每次部队开拔，长官莫不腰缠万贯而去。李宗仁为新进长官，虽厕身旧军之中，对军队扰政害民、军纪废弛很是反感，早存改革意愿，故在当上营长后，极为注意整肃军纪。李营驻防新会，李宗仁决心从自身做起，拒受贿金，不徇私情，严令所部恪守军纪，爱惜名誉，颇得当地士绅和百姓称赞，上司也很满意。
1920年10月，在粤桂军为陈炯明击溃，桂军离粤向桂境撤退。桂军军纪向来废弛，素来不得人心，此番败退，广东军民纷起而堵截，粤民自动起而助战，沿途不是闭栅放炮，就是空室清野，桂军只好一路以抢掠为生，军纪愈发废弛。李宗仁所在部队担任撤退大军的后卫，一路所见尽是奸淫烧杀，落伍败兵为害百姓的惨状。名义上担任后卫的部队有制止士兵扰民之责，但李宗仁的上司就公开以抢劫提高士气。李目之不寒而栗，深感痛心，自思：“这种军队若不消灭，实无天理。”
桂军1万多人一路上人马杂沓，狼奔豕突，部队撤至莲塘口，与粤军李福林、魏邦平部隘路相逢，又逢连宵大雨，桂军陈兵路侧，一筹莫展。林虎、马济深知此刻全军面临危境，认为已到最后关头，只有实行中央突破，抢关夺隘，方可为大军夺得一条回桂的生路。恰于此时李宗仁率后卫一营赶到，自告奋勇前来请战。
林、马在关键时候，得一虎将，大喜过望，立即下达抢关命令。李宗仁即令全营进发，为激励士气，自己带号兵、掌旗兵走在最前面。在进入敌射程后，即以雷霆万钧之势，猛扑敌阵，敌猝不及防，便以炮火猛击，李身边的掌旗兵和号兵纷纷中弹倒地，但李营在李宗仁指挥下已冲了上来，一阵殊死搏杀后，敌中央阵地被突破，全线动摇。这时接应部队蜂拥而上，莲塘口之敌遂被肃清。天险即下，峡口大开，全军万把人得平安通过，李宗仁之勇武过人也由此更加闻名。
桂军退回广西后，林虎因与陆荣廷不和，愤而出走，林部交由李宗仁上司黄业兴指挥。黄率部开往玉林驻防。
1921年6月，粤、桂重开战。粤军士气旺盛，桂军连连败北，陆荣廷见军心涣散，通电辞职。时李宗仁所在的黄业兴部正在攻打高州，闻梧州失守，陆帅下野，便主动放弃了攻击，急向玉林原防撤退。恰逢雨后山洪暴发，河水高涨，溃军在粤军追击下，群集河岸，草搭浮桥过河，全军半渡，浮桥突断，而岸上的人并不知情，一窝蜂向前挤，桥上人纷纷挤落下水，被江涛卷走，李宗仁也被挤落水中，幸赖水性好，得抢游上岸。黄业兴收拾残兵，不分日夜退到玉林。几日后，闻粤军已攻陷南宁，黄又率部向钦、廉方向继续退却。
黄业兴是广东人，几日来，黄率残部不停地向粤境退却，其意何在？这使广西籍军官陡生疑虑和不安。李宗仁怕部队随黄入粤必然被粤军收编或遣散，他出生入死，好不易拥有的这点“家当”，不是将被人夺去，就是将化为乌有。想到这里，他惕然心惊，赶紧去找人打探。
黄业兴的参谋长梁史是李宗仁陆小时的学长，与李有师生之谊。李便乘途中晚间休息，前往梁处打听。梁以实相告，道：“陆已下野，赴邕无前途，黄司令原籍钦州，官兵又多钦、廉人，故有将队伍带回广东，以备收编之意。”
李表示：“所部桂人为多，倘不愿随往，如何？”
梁道：“那只好由你自己酌裁了。”
李宗仁回到驻地后，即先召集本营4个广西籍连长商量。众人议定，乘大队人马向钦廉方向匆促退却之机，率所部4个连，并尽可能多联络些其他连广西籍军官，伺机脱离黄部，暂时避入六万大山，静观局势演变，再定日后大计。当晚分头行事，秘密与其他营的几个广西籍连长联络。因利害相同，平素关系也较好，自然一说即合。他们都表示愿意服从李宗仁节制，李宗仁原来的4个连，加上活动来的7个连，合起来已有11个连的兵力，李遂与11个连长一起商定相机行事的计划。
次日，队伍开拔，李宗仁有意将所部调在后面移动，行进中又几次借口“休息”，让别的队伍先行。在部队走近六万大山边缘的城隍圩时，李宗仁见离大队人马已有一段距离，便令所部停止前进，召集各长官会议，向士兵宣布将部队开入附近山区的意向，谋一条出路，上下官兵一致同意。李马上下令各连掉转队伍，向山区开进。
前面部队见李部久未跟上，派一参谋赶来，李宗仁以实情相告。黄业兴部下有主张派兵回来强迫李部一起前进的，但黄未予采纳，道：
“现在大局已变，人各有志，不能勉强，陡然引起自家火并，不如各奔前程为是。”
李把部队拉入山中，千余人在山上搭起棚帐或茅庐，觅地住宿，官兵心理上都有异样感觉。次日晨，便有两连人马不愿留在六万大山，乘夜幕逃去。
李宗仁部在玉林驻防时，与当地士绅有过交往，相处甚洽。他便派员分访，请求接济。士绅即刻组织起来，为之筹划，千把人的粮饷暂有着落。
其他部队的一些散兵游勇不断进得山来，特别是莫荣新部的一个营，在营长陆超率领下，因兵荒马乱，无处容身，愿同李部合伙，李欣然容之，在几日内李部人马已达近2000人。李宗仁靠这支人马，称雄一方已没有问题。于是，李宗仁决定以玉林地区和六万大山为创业基地，整军经武，养精蓄锐，以待日后大举。
李宗仁默察形势，认为手上这支力量弱小，与入境粤军对抗，无异以卵击石，在山中单靠地方接济粮饷，也非长久之计，不如随机应变，暂且归附粤方。于是派人到玉林去与陈炯明接洽，表示愿意接受归编，但要求划玉林地区给李部驻防，负责维持五属治安。并提出部队直属于粤军总部，为一独立单位，兼有两省头衔，防止被乱行调动，无故缴械，陈炯明见桂局未平，李宗仁部人枪齐全，若不答应，恐怕对粤军不利，便接受了李的条件，委李为“粤桂边防军第三路司令”，命部队开往玉林以东的北流驻防。
李宗仁抱定中立宗旨，对粤方不即不离，虚与委蛇。其时，马君武被孙中山任命为广西省省长，在南宁组织政府。李宗仁遂以马君武是桂林同乡关系，到南宁活动。从马君武处谋了个“玉林警备司令”的正式名号。
不料，陈炯明在广州叛乱，尽撤在桂粤军回粤。在玉林静观局势的李宗仁赶紧宣布与粤军脱离关系，宣布就任“广西自治军第二路总司令”，并趁机扩大了7个县的地盘。
此时，广西全境一片混乱，进入所谓“自治军时代”。广西有民谣形容当时情景：“司令满街走，将军多如狗，杀人兼越货，无日不干戈。”百姓因此横遭劫掠，村落墟户洗劫一空，几近“鸡犬无声，非复人境之象”。
各路自治军司令纷纷向北京政府表示效命，北京军阀分别加以册封。李宗仁得任桂林镇守使。
受北京政府正式任命的“各路英雄”，联合向南宁进军，并在南宁相约召开一个颇具戏剧性的会议，李宗仁也被邀参加。李宗仁因年龄、资格、经历比不上那些旧式军人，故表示：“凡是诸位的决定，我一概无成见。”但他实际上却看不起那些行为粗俗、胸无点墨的“草头王”，决心收拾广西局面，统一八桂。
会上推出林俊廷为全省自治军总司令。开会结果报北京政府核准，北京政府也照准不误。林俊廷被任为广西绥靖督办，蒙仁潜为省长，陆云高为财政厅长。但是林未就职，蒙徒有“省长”空衔，号令不出郭门，陆的财政厅长也只有在南宁一带自己原防地收收税罢了，一切仍是旧时模样。
李宗仁来南宁，主要是察看风向，见局势依然混乱，乃回玉林。
北京政府又挟持陆荣廷为广西边防军务督办，陆在武鸣召集旧部各自治军首领开会，要求取消自治军名目，改编各部队番号，李宗仁的玉林部队被改编为广西陆军第5独立旅。李对陆的任命既不当面拒绝，也不正式就职。在他看来，只要军权在手，什么师长也好，旅长也好，镇守使也罢，都可以接受，这叫做“以不变应万变”。他抱定的宗旨是：顺应时势，和缓各方，守境自保，待机而动。这一韬晦策略实乃明智之举。
李宗仁在玉林招兵买马，扩充队伍实力。他的陆小同学黄绍竑带着一营兵力并入李部。
黄绍竑，字季宽，广西容县山嘴村人。黄家是容县有名的望族，黄在陆小加入学生军敢死队，随部队开赴湖北。1912年，入武昌陆军军官预备学校继续学习，1914年结业后，入保定陆军军官学校学习，1916年毕业后回广西百色，在马晓军的陆军模范营当连副。以后升为连长，模范营扩编为团时，黄任营长。后马晓军被粤军改编，马被任命为田南警备司令，不久，粤军回粤，桂局崩溃，马晓军部调往南宁驻防，马晓军知南宁难以久守，便率部撤往广东。然而沿途遭到自治军的拦截，马晓军对前途感到彷徨，将部队交给黄绍竑，自己借故离队。
黄绍竑便将部队拉到自己的家乡容县，图后区处。李宗仁对模范营一帮青年军人久有联络之意，便亲自去容县找到了黄绍竑的胞兄黄天泽，表示：“都是同学，一切问题好商量。”不久，李宗仁又派夏威带着委任黄绍竑为“第三支队司令”的任命状和军饷，找到疲惫不堪的黄绍竑。黄遂同意与李合作，率部来到玉林。
李宗仁部的人马由原来的2000多人，扩大为3000多人，2个支队增为3个支队，李宗仁玉林集团如虎添翼。
李宗仁又罗致人才，设法把黄旭初从蒙仁潜部保释出来。
黄旭初是广西容县人，1913年毕业于广西陆军速成学堂，因学业优异，同年冬又考进北京陆军大学，毕业后回桂，也曾在马晓军模范营任连长、营长等职，后调任广西督军署中校参谋、省长公署军政处总务科长。黄为人沉毅敬谨，文质彬彬，恬淡自守，为幕僚的最佳人选。李宗仁素慕其名。
粤军从南宁撤退后，黄旭初被自治军蒙仁潜部扣留，指为“通敌有据”，险遭杀害。时李宗仁正好在南宁与各自治军首领接洽善后。知黄在押，即向蒙力争，将黄保释出来，并和他一同回玉林，派为总司令部参谋长。从此，黄旭初为李宗仁主持戎幕，运筹帷幄，全军赖其辅导，上、下归心。
由于李宗仁推诚结纳军校同学，散处广西各处的军校生闻之，相率来归，一时人才云集，声势大振。在李部的3个支队中，营以上干部军校出身的占大半数。
李宗仁不仅积极罗致军校生担任部队的中上级长官，对行伍出身的下级军官也十分注意培训。他特意创办了“玉林干部教练所”，专调本军行伍出身的下级军官受训。另设教导大队，对军内班长及准备充任班长的上等兵施以严格训练，为部队培训了大批基层骨干，部队素质和作战能力大为提高。
黄绍竑是个受过较高军事教育的人，所部又是模范营底子，官佐士兵思想活跃新颖。黄绍竑接受李宗仁委任，是迫于形势，出于无奈，本意仍然想与粤方联络，将来方可求得发展。黄来玉林后，虽受到李宗仁厚遇，不仅人枪原封未动，还专门划定两县地盘给黄管辖。但所部侷处玉林一隅，顶着自治军的牌子，总感耳目闭塞，形同草寇，终非善策。闻得孙中山已击败陈炯明，在广州再次组府，并又派兵西上，准备入桂收拾沈鸿英，黄顿感机会来临，准备向梧州发展，若能拿下梧州作为自己日后进取的根据地，不仅可以扩大地盘，增加税收，增厚财力，而且就此走出玉林，争取新的发展。
于是，黄绍竑私下派出所部参谋陈雄到广州去打探消息，与其时在广州养伤的白崇禧取得联系，令陈、白相机同广州革命政府联络，表明意图。
白崇禧，字健行，广西临桂县南乡会仙圩山尾村人。1907年考入陆小第一期，因病中途退学，后转入桂林广西省立初级师范就读。1911年参加学生军北上，1912年入武昌陆军军官第三预备学校，1914年入保定军校，1916年同黄绍竑一起毕业回桂，又同在马晓军模范营任连副，后升为连长、营长。1922年，马部在百色被自治军刘日福部袭击，白崇禧率兵一部逃至贵州，后又率部返回百色，途中巡哨时跌伤左脚，赴广州就医。
陈雄同白崇禧会面后，即积极活动，不久便在朱培德、廖仲恺引见下，晋谒了孙中山。向孙汇报了黄部情况，表达了参加革命的愿望，得到孙中山的赞许，孙命黄绍竑为广西讨贼军第1军军长。并命令在江西的粤军魏邦平、李济深部策应黄部起义。
黄绍竑取得孙中山的支持后，便以“假受编”的方式，利用族兄黄绍竑在沈鸿英部下邓瑞征部当秘书的关系，表示愿率部投奔，骗得沈军委任“桂军第八旅”旅长头衔，获准率部进驻戎圩一带。他在行动之前，将计划向李宗仁和盘托出。
李宗仁深知黄勇敢、精敏，是个不受羁縻的人才，事已至此，挽留也难，不如成全他向外发展的志向，异日或能收到表里为用之功。黄向李表示：“日后倘能成功，还将拥戴李为首领，绝不独树一帜。”
李宗仁答应了黄绍竑的请求，在黄未取得梧州前，一切费用仍然照拨。万一黄部失败，便设法收容。但黄部在开拔时，不仅带走了自己的部队，还带走了前去接防的李部两营。此事不仅令李宗仁大为不快，也激起了玉林集团其他将官的愤慨。李宗仁虽然十分恼火，却竭力平息众怒，与黄部保持了互相呼应，暗中支持的关系。对此，黄绍竑十分感动，说李宗仁气量宽大，能忍人所不能忍。从此甘居李下。
黄绍竑率部驻戎圩，白崇禧、陈雄也从广州返回。他们把举事日期定为7月中旬后，火速派陈雄去广州呈报，又与江西的魏邦平、李济深取得了联系。白崇禧亲往玉林同李宗仁通气。
白崇禧同李宗仁彻夜开诚倾谈，论列两粤全盘局势。白对李说：“此举若成，功劳岂仅在于广西。”
李然其言，慨然答应拨兵相助。李提出，梧州事成后，李、黄两部还应佯作分道扬镳，黄在梧州联络粤中革命力量，李则仍在玉林与自治各军势力虚与委蛇，此乃“内刚外柔”策略。经此养精蓄锐，等待他日彼此分进合击，打成一片。
李的意图得到白的赞同。李、白此次会面，双方推心置腹，彼此倾慕，相约患难与共，由此奠定李、白此后20余年合作的基础。
7月中旬，黄绍竑部突然向退到戎圩的沈军一部八九百人围攻，将该部缴械，亮出“广西讨贼军总指挥”的旗帜。尔后黄绍竑、白崇禧率部向梧州进发，与粤军夹击梧州。驻梧州的沈部旅长冯葆初，见前后受敌，无路可退，也就改换旗帜，欢迎粤军。黄绍竑部与粤军李济深部胜利会师梧州。李济深部中的大部分干部同黄部中的主要干部，同为保定军校同学，感情融洽，意气相投，梧州会师成了两广学生集团的大会合。
李济深打算把梧州的防务交给黄绍竑，于是指示团长兼梧州军警处处长的邓演达助黄，在抚河花艇上设下鸿门宴，用计擒杀了冯葆初。
李济深、邓演达均向孙中山推荐黄绍竑主持梧州军政事务，得到孙中山的支持，于是黄绍就便在梧州正式成立了“讨贼军总指挥部”。黄部又在粤军帮助下，攻下藤县，收编了该地自治军和散兵民团，在短短的两个月中，部队由1000人扩至4000人，军威震动全省。
李宗仁从黄绍竑出师大捷，深深感到：自己如继续据守玉林一隅，面对革命潮流无鲜明立场，势难得到部下和民众之同情。他的部下认为，无论如何李宗仁在名义上不能摆在黄绍竑之下，一致要求把部队改称“定桂军”。恰巧此时黄绍竑派副官吕竟存、团长伍廷飏到玉林来与李进一步相商此后合作问题。于是两军商定下步作战计划：先协力肃清贵县、桂平、江口、平南的自治军，解除心腹之患，占领梧州到贵县的水路交通线，然后伺机再向柳州发展。
两军分头行事。黄部讨贼军首先溯江而上，进攻平南、江口，李宗仁的定桂军则袭取贵县，并疾趋桂平。平南、桂平、江口一带是陆廷荣所部陆云高，张希栻、刘权中等部的防地。陆云高部受到李、黄军夹击，仓皇向蒙山、武宣方向败走，其他部队残兵败将纷纷投诚。这样，广西最富庶的梧州、浔州、玉林3个地区统落李、黄之手。
在粤桂军刘震寰命桂军陈天泰师调集都城一带，明修栈道，暗渡陈仓，谋取梧州。黄绍竑当即与李宗仁商量，决心以武力先发制人，解决陈天泰部，此议得到粤军李济深支持，并通力合作，将陈天泰师击溃，集体缴械。
李宗仁自出玉林后，初试锋芒，便连连告捷，大有春风得意、踌躇满志之概。定桂军的司令部遂由玉林迁到桂平，在这里娶了一位年方17的貌美新妇郭德洁。
李、黄“定桂”、“讨贼”军的崛起，使广西成为三雄鼎立的局面，即：沈鸿英部在抚河、昭平以上至桂林一带；陆荣廷部在横县、武定以上，柳州、南宁、左右江一带；李、黄部在梧州、玉林、浔江一带。陆、沈两部各有2万多人枪，李、黄两部合起来则不到1万人。
李、黄共同计划向上游发展，以驾驭广西全局。他们密议利用陆、沈同床异梦的矛盾，挑起两个强敌间的战事，尔后各个击破。然而在先讨陆还是先讨沈的问题，李与黄、白间意见分歧。李认为，沈特凶悍，为人反复无常，毫无信义可言，久为两粤人民所共弃，先行讨沈，定可一快人心。而对陆兴师问罪，李则有恻隐之心，心头难免不安。黄、白认为李的“联陆讨沈”之策，出于对陆“不忍”，对于平定广西之大略实为不智，故不赞成。他们提出“先联沈讨陆”。认为此是“联弱攻强，避实击虚”，这样对陆方胜券可操，沈部也易翦灭。
李宗仁斟酌再三，接受了他们的方案。当时陆、沈两部在北京政府调解下，已有讲和息兵、合而谋取梧州的动向。李、黄遂决定先发制人，乘陆、沈未合作，先派人与沈鸿英联系，诱之以利，答应在倒陆后，将来地盘分配，桂林、平乐、柳州尽归沈有。沈为一枭雄人物，对李、黄的话当然也未尽信，但在盱衡全局后，认为陆荣廷势大，是自己称王广西的主要对手；李、黄部乃初出茅庐，不足以惧，于是承诺与李、黄合作，倒陆后再作后图。
李、黄乘陆、沈在桂林对峙，迅速集中两部兵力于贵县，而后分左、右两路：左路由李宗仁亲率，指挥讨贼军伍廷飏、夏威、蔡振云3部和定桂军李石愚支队，沿邕江而上，直取南宁；右路由白崇禧率领，下辖定桂军何武、钟祖培部和讨贼军俞作柏团，攻打宾阳、迁江、上林，再转武鸣，对南宁作迂回包围。黄绍竑则指挥剩余部队留驻梧州，策划各方补充、策应。
李宗仁的左路军在击退陆部韩彩凤军后，很快进至南宁，在南宁附近与陆部蒙仁潜、林俊廷的部队展开血战。右路白崇禧的部队，连下柳州、庆远，也奔南宁而来。在这种夹击攻势下，南宁守将林俊廷不敢抵抗，率部窜逃，省长张其也从南宁仓皇出逃。李、黄军遂于1924年6月25日占领南宁，两部会师，首战告捷。
南宁的克复，使李、黄军两部士气大振。然值此大战初胜，尚待一鼓作气，继续进取之时，李、黄两个系统的部队都混集在一起，双方部属为分夺权利，几起争执，互不相让，嫌隙已见。两部将领中有彼此不服、欲争高低之人，几临火并边缘。
李宗仁、白崇禧见情形严重，大局未定，众敌环伺，若内部为权为利，先起争执，必定复蹈昔日太平军诸王内讧、瓦解失败的覆辙。于是李、白商量后，立即联名打电报给在梧州的黄绍竑，要其克日来邕，并有“你如迟日不来，危险就会发生”等语。
黄绍竑接电后，知情形紧急，乃昼夜不停，赶至南宁。李、黄、白3首领见面后，白即对黄晓以利害，白道：
“洪杨之失败，非曾左之功也，洪杨内讧自毁其事业也，若以占领南宁即起内讧，我不欲见失败之日，愿先卸职他去。”
留着大胡子的黄也深明大义，回道：“决不能这样做，一切以团体为重，恪守前约，推李为首。”
3人达成默契。李、黄将两支部队中营长以上干部召来会宴，席间黄起立致词，提议：“立即组织定桂、讨贼联军指挥部，拥护李宗仁当联军总指挥，本人副之。”
言毕，黄举杯率在席诸将领向李宗仁敬酒，大家共干一杯。饮干后，黄擎杯在手，向诸将宣誓说：
“今后我们将领，誓为一心一德，服从李总指挥领导，如有口是心非，三心两意的，当如此杯！”
说完将酒杯猛掷于地，跌得粉碎，全场空气肃穆，众将为之动容，纷纷表示：“既然胡须老都这样做，还有什么可说。”
于是，两军将领尽弃前嫌，握手言欢。
联军总指挥部随即成立。李、黄为正、副指挥，白崇禧为参谋长兼前敌总指挥，黄旭初为副参谋长，吕竟存为副官长，黄钟岳为秘书长，联军属下各纵队将领也作了统一调派。新桂系此后长期实行李、黄、白三巨头领导体制，李、黄两部由分而合，一致合作，共举定桂大业。李以仁厚、坦白、公正、诚恳待人，不念以往之瑕疵，力求事后之改进，尤其严禁任用私人，对自己原部之陈旧落伍分子尽力淘汰，毫不徇私，从而使这一新的团体进一步摒除了派别歧见。
