再說呂家跟琅琊王氏乾係很好，王、裴又世為姻親，東拐西繞的乾係一擺，呂鵠又如何能夠不切齒而悔恨罵過裴頠的韋忠？
呂氏俄然間起意背漢，當然首要源自於柳氏的勸說。蒲阪縣兩麵對河，胡兵的防備本來就比河東其他縣邑為嚴，加上柳氏近呂，則若柳氏仍舊一門心機附胡的話，呂氏是不敢遽起異心的。但是同理，蒲阪遭到晉人的威脅也最大，倘若柳氏樂意從晉，呂氏又豈敢獨獨向胡呢？
他本來覺得，胡漢近年來固然略受波折，於河東郡畢竟餘威尚在，即便強如裴、薛，也不敢公開背反，隻是陽奉漢朔，而實際騎牆罷了，況乎呂氏？雖說在蒲阪縣內，呂氏算是第一大族，但放諸全部河東郡，則田土有限、人丁不繁，論武力更是提不起來。
且說前數日柳矩去訪薛寧，薛寧建議他羈留韋忠，將來好獻給裴大司馬，必為大功一件。柳矩返來跟兄長柳恭商討，柳恭就說了：“才得韋大將軍命，要我等不必將糧食北運，轉而南下入蒲阪……”
再說韋忠見呂氏圖窮匕現，欲圖截留本身，不由又驚又恐。他自不能束手就擒——自家存亡安危事小，倘若影響了火線戰事，誤國之罪卻大——當即雙眼一輪，“當”的一聲，就把腰佩的長劍給拔出來了。
呂鵠見狀，也不驚駭，也不憤怒，仍然笑眯眯地，擺擺手說：“大將軍此言，呂氏實不敢當……”隨即環顧陪坐諸後輩，對韋忠解釋道：“實是這些不學小子，不明皇漢之大義，與大將軍之忠節，都雲大將軍昔不仕晉，是為避禍，後乃從漢，是見皇漢勢大，因而有攀龍之情，總而言之，都是一個‘怯’字，為亂世偷生耳。小老覺得不然，大將軍必有深意，是故設問，請大將軍為我教誨兒孫，如此罷了。”
呂鵠被婢女攙扶著退後，不由連連喘氣，等聽韋忠喝斥完，老頭兒氣纔剛喘勻，不由點頭笑道：“大將軍所言是也，我家此舉，於晉非忠，於公不義，隻是那又如何？小老又未曾見天將‘忠義’二字掛在嘴邊。”我們即便壞，那也很樸重啊，不象你掛著羊頭賣狗肉。
呂鵠還是笑，顫顫巍巍地答覆道：“呂氏家小族弱，塢中青壯有限、兵甲不全，實難以當漢軍之擊。但是，大將軍覺得漢軍必能東歸麼？今河東之兵、糧、舟船，皆由大將軍調劑，一旦大將軍不在，軍心必定渙散，糧秣必定難聚，舟船也將四散，則漢太子在河西，以饑疲之師以當裴大司馬，安有勝算？即欲東歸，河橋狹小，舟船無著，晉師在後，未知能有幾人全生啊？喪敗之卒，便臨我塢，呂氏卻也不懼。