绍兴七年三月，浚奏刘光世在淮西，军无纪律，罢为少师、万寿观使，以其兵隶都督府。命参谋、兵部尚书吕祉往庐州节制，且以王德为都统制，郦琼副之。琼与靳赛，皆故群盗，与王德素不相能。德，威声素著，军中号为王夜叉。都承旨张宗元，深以为不可，谓浚曰："琼等畏德如虎，今乃使临其上，是速其叛也。"浚不谓然。复谋之岳飞曰："王德，淮西军所服，浚欲以为都统制，而命吕祉为督府参谋领之，如何？"飞曰："德与琼素不相下，一旦使揠之在上，势所必争。吕尚书虽通才，然书生不习军事，恐不足以服之。"浚曰："张宣抚何如？"飞曰："暴而寡谋，且琼辈素不服。"浚曰："然则杨沂中耳。"飞曰："沂中视德等耳，岂能驭之？"浚艴然曰："浚固知非太尉不可。"飞曰："都督以正问飞，飞不敢不尽其愚，岂以得兵为念哉！即日乞解兵柄，持余服。而浚讫行之，琼辈惧不敢喘。
及德视事教场，诸将执挝用军礼谒拜。琼登而言曰："寻常伏事太尉不周，今日乞做一床锦被遮盖。"德素犷勇自任，竟不解出一语慰抚之，遂索马去。于是琼辈愈惧，相与连衔上章，乞回避之。
张宗元知其事，复语浚曰："业已尔，今独有终任德，或可以镇，不然，变且生矣。"浚不以为然，遂奏召德还。以张俊为淮西宣抚使，驻盱眙；杨沂中为淮西制置使，刘副之，并驻庐州。且命郦琼以所部兵赴行在，意将以夺其军而诛之。宗元听制于文德殿下，语人曰："是速琼等叛耳。"会祉复密奏罢琼兵柄，书吏朱照漏语于琼，于是叛谋始决。及金字牌飞报，吕方坐厅事，闻有大声如<骨孝>箭辟历，自戟门随牌而至，启视之，乃三使除书也。吕拍案叹曰："庞涓死此树下。"即时乱作，遂缚吕祉，及杀中军统制张景、铃辖乔仲福、刘永衡、前知庐州赵康直、释知庐州赵不群，以其所部七万人悉叛归刘豫。至淮岸，遂杀祉及康直，释不群使还。浚乃亟遣张宗元使招之，已不及矣。
浚遂上章引咎，台臣交章论列，谓："浚轻而寡谋，愚而自用。德不足以服人，而惟恃其权；诚不足以用众，而专任其数。若喜而怒，若怒而喜；虽本无疑贰者，皆使之有疑贰之心。予而阴夺，夺而阴予；虽本无怨望者，皆使之有怨望之意。无事，则张威恃势，使上下有暌隔之情；有急，则甘言美辞，使将士有轻侮之意。郦琼以此怀疑，以数万众叛去。然浚平日视民如草菅，用财如粪土。竭民膏血而用之军中者，曾何补哉？陛下尚欲观其后效，臣谓浚之才，止如是而已。"时司谏王缙，则以罪在刘光世，参政张守期为力求未减。都官郎官赵令衿，则乞留浚，陈公辅则谓不可因将帅而罢宰相，于是罢为观文殿大学士，提举太平观。其后，言者不已，遂诏落职。既而御批"张浚散官，安置岭表"。赵鼎力扌求解之，改秘书少监，分司西京，且为出言官于外。
《退朝录》曰："绍兴二十年，浚复上疏论边事。高宗为汤丞相云：'张浚用兵，不独朕知之，天下皆知之，如富平之败，淮西之师，其效可见矣。今复论兵，极为生事。'于是复有永州之命。"
《挥麈录》云："淮西军叛后，冯楫启上曰：'如张浚者，当再以戎机付之，庶收后效。'高宗正色曰：'朕宁至覆国，不用此人矣。'遂终高宗朝，不复再用。"
