伊餘權渠被解至長安今後，裴該承製拜其為平西將軍、新陽侯——比本來汗青上劉曜所封，低了一大截——即於長安城內閒居到死。
因為裴該所建關中行台，始終是箇中原政權，以農耕民族作為主體，是不成能和汗青上的胡漢或者劉曜前趙那樣，晉戎並重，乃至於把關中大片膏壤也辟作遊牧草場的。並且彷彿有一說，就是因為關中、秦隴一帶耐久農耕和畜牧並重，才導致的水土流失如此嚴峻，唐朝今後逐步不能再作為中原政權的統治中間。
護北戎校尉，即以受命呂樓，至於上郡太守，遊遐保舉了高奴令魯憑。
唯裴該撚鬚而笑，說：“子弘遠才，果不負我之希冀也。”
伊餘大怒道：“誰說是我調撥的阿爺？倘若遊某遣使來責問，我或者尚感羞赧，現在竟率兵來攻我，則誰肯束手就擒？！”即問擺佈道：“我看西戎不過萬軍罷了，那裡有十萬之眾啊？”
即以護西戎校尉、秦州刺史的名義，董督全軍，以呂樓為前鋒，率三千馬隊先行，遊子遠以馬步七千繼之，餘眾數萬合後，急向上郡殺去。
伊餘聞報大驚，倉猝登城瞭望——說是城，實在不過一個土圍子罷了——果見無數馬隊殺來，很快便即逼城建壘。伊餘遣人探聽：你們究竟是誰啊，打哪兒來，所欲何為啊？時候不大，獲得回報說：“護西戎校尉、秦州刺史特率境內戎部十七，合兵十萬，來討我南侵之罪！”
苦戰中，遊遐還彆遣戎部千騎，兜抄至虛除城以後，揚聲攻壁。虛除兵一時大驚，紛繁掉頭想要逃回城內，成果就在城下被殺得大敗，伊餘雖勇，也身中數箭，狼狽而逃。