大業十三年（公元617年）春，李密率精兵七千，攻取興洛倉（即洛口倉，因地處洛水入黃河之口而得名），占有倉城，翻開糧倉，施助哀鴻，百姓紛繁歸附義兵，李密的步隊很快強大，並多次打敗隋軍，步步逼近東都洛陽。不久，在洛口倉城建立了政權。因為眾望所歸，李密被翟讓和眾將領推戴為主，稱“魏公”，年號“永平”。接著，李密率兵霸占鞏縣（今鞏義市境），輕取回洛倉（在隋唐洛陽城北七裡），兵臨洛陽城，兩邊戰於東都郊野。在此期間，李密大量起用隋朝的降官降將，和翟讓之間因措置隋降官、分派軍資等題目，產生火併，李密殺翟讓及從者數百人，從而獲得了瓦崗軍的絕對帶領權，然瓦崗軍的軍事氣力也是以遭到重創。
越國公楊素路過李密隱居之處，瞥見李密在勤奮讀書。回府後楊素對兒子楊玄感提及此事，楊玄感遂與李密傾慕訂交。後因對隋朝廷不滿，於大業九年（公元613年）參與楊玄感起兵反隋。他曾向楊玄感獻上、中、下三策：上策是襲據涿郡，扼臨榆關，使隋軍崩潰關外；中策是攻占長安，占有關中和隋煬帝對抗；下策是攻打洛陽。楊玄感恰好采納了必敗的下策，攻打洛陽。失利後李密被監禁，不久在逃送途中逃脫。大業十二年（公元616年），翟讓在東郡（今河南滑縣東）策動農夫叛逆，因以韋城瓦崗寨（滑縣南）為按照地，故稱瓦崗軍。李密投奔於翟讓軍中，向翟讓進獻“攻取滎陽，爭雄天下”之策。在李密的儘力幫忙下，翟讓很快實現了篡奪滎陽的目標，隨後又在滎陽大海寺擊殺隋朝名將張須陀，李密是以深得翟讓的賞識和重用，他的氣力和聲望在叛逆兵中大增。李密曾擴修、占有金墉城，並以此作為與隋朝廷對抗的大本營，金墉城位於今洛陽城東北約莫15千米、孟津翟泉村東、漢魏洛陽故城西北角。多年來，考古事情者已多次停止重點發掘，部分夯土城牆仍儲存在空中之上，最高者可達6米。