淳祐甲辰，杜清献范薨，游清献以拜右揆，赵葵南仲枢使、陈к子华参政，皆一时宿望。明年四月，游相以大观文奉内祠侍读。既而赵公出督江淮、荆、襄、湖北军马，陈公以知院帅长沙，遂再相。郑忠定清之、王伯大、吴潜，并为佥枢。乙巳，赵公兼江东帅、知建康、留钥，赵希宪以礼书督府参赞兼江漕，淮帅丘山甫岳仍兼参谋，且颁御笔云："赵葵兼资文武，协辅国家，领使洪枢，视师戒道，权不可不专。申檄处置，贵合时宜，一应军行调度，并听便宜施行。所有恩数，眠仪宰路。"公既威名夙著，边陲晏然。中间屡乞结局，不允。明年，遣随军转运舒泽民滋，入白庙堂，许令带职入觐。公力辞召命，且云："更当支吾一冬，来春解严，容归田里。"朝廷许之。
明年，北军大入，因复留行府，措置战守焉。中书陆德舆载之转对疏，以为："去岁泗州大捷，彼方丧胆落魄。今春淮水涨溢，欲来不可。涉冬而春，边镇宁谧。近者骇言寇至，张大其说，或云到仪真之境者，止五六十骑耳。"赵公闻之，大不能堪，封章屡上，力辨此谤。且云："今年北军之入，系四大头项：一曰察罕（河西人），二日大纳，三日黑点，四曰别出古（并鞑）。号四万，实三万余；马，人各三匹，约九万匹。惟恐有劳圣虑，前后具奏，一则曰宽圣虑，二则曰宽忧顾。臣领舟师往来应敌，未尝有一语张大。今观陆德舆奏疏，实骇所闻。伏乞委德舆亲至维扬，审是虚实。臣当躬率骑士，护送入城，便见真妄。"于是朝廷以载之之言为过，遂为调停，寝其事焉。未几，工部尚书徐清叟进故事，亦讥其辟属之滥，赵公愈不自安。
是岁闰二月，郑忠定拜太师，赵公拜右相，所有督府，日下结局。遂差右司陈梦斗宣赴都堂治事，而陈辞以此貂之职不行，遂改差御药谢昌祖往焉。夕郎赵以犬复有不肯书牍之意，事虽不行，而公之归兴不可遏矣。屡腾免牍，且引其父忠肃遗言不许入相之说以告，且云："宁得罪以过岭，难违训以入朝。"御笔不允，降宣趣行。时陆载之方居翰苑，以嫌不草诏，遂改命卢壮父武子为之。时赵公各通从官书，谓元科降簿内，尚余新楮四百余万，银绢度牒并不支动，且言决不可来之意。常时从官作宰相书，例有先生之称，至是皆去之。独赵汝腾茂实尚书答书云："大丞相高风立懦，力疏辞荣。昔司马公固逊密府，近崔清献苦却宰席，书之史册，并公而三，甚盛休。"而其微意亦可见也。
公归计既决，遂申朝庭，于三月二十四日散遣将士，取道归伏田里。所有新除恩命，决不敢祗受。既而与告复召，然公终不来矣。至明年三月，御笔："赵葵恳辞相位，终始弗渝，使命趣召，亦既屡矣。奏陈确论，殆逾一期。朕眷倚虽切，不能强其从也。姑畀内祠，以便咨访。可除观文殿大学士、醴泉观察使兼侍读。"后以疾丐外祠甚力，遂以特进判长沙，凡五辞，得请奉祠，径归溧阳里第焉。盖一时绅，方以理学科名相高，其视军旅金谷等，为俗吏粗官。公能知几勇退，不激不污，可谓善保功名者矣。
