於是更對劉裕款待備至，恩寵有加。桓玄的妻子劉氏頗能識人，她多次勸桓玄除掉劉裕，但桓玄卻以要借劉裕蕩平中原為由拒絕。同時，桓玄稱帝后為消除隱患，欲瓦解北府兵，大力剿殺北府兵舊將，北府軍幾乎遭到滅頂之災。正在桓玄盤算之際，劉裕也在暗中和北府兵殘餘兵將聯絡，伺機反攻桓玄。

元興三年（404年）二月，劉裕以打獵為名，聚集北府兵殘餘兵將一千七百餘人，在京口舉兵起義，殲滅了桓楚在此的兵力，殺死桓修。接著，眾人推劉裕為盟主，傳檄四方，各地紛起響應。

桓玄自從獲悉劉裕率眾起義後，成天憂心忡忡，想不出對策。有人說：“劉裕等力量弱小，哪裡具備成氣候的力量，陛下何必擔憂呢？”

桓玄回答說：“劉裕堪稱當代雄才；劉毅家無多少儲蓄，卻像擲骰子一樣捐出百萬；何無忌，劉牢之的外甥，很像他舅舅。他們聯合起來，共舉大事，怎能說他們不會成功呢？”

桓玄先派手下猛將吳甫之及皇甫敷帶領精兵抵抗劉裕，劉裕先於江乘殺吳甫之，至江乘以南的羅落橋時奮力作戰，又殺皇甫敷，繼續進攻。

三月，劉裕進攻覆舟山，並命弱兵登山，持著旗幟分道而行，營造四周皆有士兵，數量很多的假象；而又因桓玄守軍大多是北府軍出身，面對劉裕都沒有鬥志，劉裕於是與諸軍進攻，順利以火攻擊潰桓玄守軍，而桓玄亦棄城西逃。

元興三年（404年）三月，劉裕進駐石頭城，派冠軍將軍劉毅、輔國將軍何無忌、振武將軍劉道規率各軍追擊桓玄。

王謐等人公推劉裕領揚州刺史，劉裕極力推辭，於是由王謐錄尚書事，領揚州刺史。而劉裕則被推為使持節、都督揚徐兗豫青冀幽並八州諸軍事、領軍將軍、徐州刺史。

東晉末年，政局混亂，百官放縱，百業廢弛，劉裕以身示範，先以威嚴約束宮廷內外，百官都認真供職，在二三日內，朝廷風氣為之大變。

劉裕掌權後，誅殺了反對自己的“江左冠族”、尚書左僕射王愉及其子、荊州刺史王綏（桓氏親黨）。此外，光祿勳丁承之、左衛將軍褚粲、游擊將軍司馬秀“役使官人”一事，遭御史中丞王禎之揭發，三人的在給朝廷的謝箋中頗有怨言。劉裕奏報司馬遵，認為他們“橫興怨忿，歸咎有司”，將其全部免官。

四月，劉裕奉武陵王司馬遵為大將軍，承製大赦天下，赦免桓玄一族外的所有人。

正在此時，桓玄的兒子桓韶領軍攻擊歷陽，劉裕命輔國將軍諸葛長民將其擊退。同時，何無忌、劉道規在桑落洲大敗桓楚大將郭鈐等，進據尋陽。司馬遵加授劉裕“督江州諸軍事”。

桓玄回到荊州根據地後，重新招募軍士，打造樓船、器械，挾晉安帝司馬德宗出征，自江陵沿江東下。冠軍將軍劉毅等在崢嶸洲遭遇桓玄軍，雙方大戰，桓玄大敗，拋棄軍隊，挾持晉安帝逃回江陵。

。陵江帝安晉奉等之騰王守太郡南。康建首傳，殺斬遷馮護督州益被，蜀逃西圖企，後陵江達抵玄桓

。”殿人百仗甲“帶准獲，史刺州青領兼裕劉，月十）年404（年三興元。平討被快很但，叛兵起均該劉史刺州青北、禺辛史刺州兗，時同此與。尋回退，敗潰伏遇林楊於，戰溪靈在振桓與，陵江攻進等忌無何。應響兵起也，訊聞謙桓的川沮在藏躲。制控氏桓被新重帝安。陵江取襲，人千數者隨追集召新重，中湧的容華到逃振桓子侄的玄桓，忽疏的軍伐討為因。存尚黨餘，死雖玄桓

。定平底徹之氏桓，此至。帝安晉回迎並，力勢氏桓逐驅，陵江復收等毅劉，月正）年504（年元熙義。陵復收軍伐討，月二十。壘月偃、城魯克連，口夏臨兵度再等毅劉，底年同

。舊如職餘其。史刺州兗領加，史刺州青任解時同，事軍諸州六十督都共，加疊州九前此與，事軍州七涼、雍、寧、益、梁、司、荊督都裕劉授加能只，已得不帝安。徒丹鎮回並，銜的授所帝安辭力次多裕劉但。”故如史刺州二青徐、節持使“，事軍諸外中督都、軍將騎車、中侍為他升擢，績功的裕劉獎褒詔下帝安晉，月三）年504（年元熙義

。還歸部全郡二十北淮將應答是於，敵為裕劉與面東在再想不，吃事戰面西於鑑或興姚帝皇秦後，郡諸北淮等舞、野新、順、鄉南的領佔前之還歸秦後求要，秦後到使遣裕劉，年同

。匹萬三絹賞獲，戶萬一邑食，公郡章豫為封獲裕劉的”功之復匡“下立，”主謀義唱“為作，奏疏臣朝經是於。功請士將眾氏桓征西為書上裕劉，月十。州二廣、督加裕劉，月三）年604（年二熙義

。罷作才這，辭堅再一他經，司三同儀府開、軍將騎車、中侍為裕劉加，詔前申重帝安，月一十。等一低府安謝傅太原比只格規佐僚的府軍鎮

。盡殆戮殺被是於黨餘玄桓。弟弟個兩其及文仲殷守太東、）領首為其奉圖企冰駱，侄之玄桓（胤桓、）父之冰駱（球駱守太嘉永的連牽有其與死殺帶連，冰駱將府的”作謀“了殺誅裕劉，月二閏）年704（年三熙義

。軍將軍中為號軍其降僅，許不宗德馬司帝安晉，位遜求請，功無縱譙的蜀西據割伐討宣敬劉因又，月九。職之史刺州兗去辭裕劉。權大政朝掌，史刺州二兗徐兼，事書尚錄、史刺州揚、司三同儀府開、軍將騎車、中侍授獲終最。命詔的政輔接朝，言勸之穆劉僚幕從聽遂裕劉，人無中朝，世逝月二十年三熙義在已謐王的親係關己自與因，月正）年804（年四熙義