這件事當即在朝中引發了一番爭議，要曉得宋朝兵製乃是以募兵為主，根基上駐屯雄師代替了北宋年間禁軍的職位，成為了宋軍的正規軍，而禁軍、廂兵、鄉兵、土兵則成為雜兵，常日不如何練習，隻充當一些雜役之類的事情，看起來南宋軍隊數量很多，但是真正能夠用來作戰的卻隻占少數，戰役力不強也就不敷為奇了。
軍統司一事方纔肯定，高懷遠便又動議上奏朝廷，大力裁撤兵中冗員冗兵，淘汰軍中多量老弱病殘不能作戰的弱兵，並且將一些底子無用的處所駐軍一併裁撤，減輕朝廷對於軍資的承擔。
因而這件事便呈現了龐大的阻力，高懷遠這才認識到，本身偶然候在考慮一些題目的時候過分簡樸了一些。
因而他隻得臨時放緩這件事的推行，開端和朝中一些大臣們商討此事的處理體例，為此他專門在醉仙樓宴請了魏了翁、真德秀、洪谘夔等朝中有德馳名的大臣，藉著席間商討這件事。