這兩人湊到一起，那野心就更大了。宋金剛給劉武周出主意，說咱們應該南下攻取晉陽，然後再圖天下。劉武週一聽，覺得這主意不錯，就任命宋金剛為西南道大行臺，讓他帶兵兩萬去攻打併州。這時候，劉武周的妹夫苑君璋出來反對了，他說幷州以南地形險峻，咱們孤軍深入，萬一糧草供應不上可就麻煩了，上策應該是聯合突厥，向唐朝稱臣，先保住自己的地盤再說。可劉武周這時候正被勝利衝昏了頭腦，哪裡聽得進去，他讓苑君璋防守朔州，自己則全力支援宋金剛南下。

宋金剛也不含糊，帶著兵一路勢如破竹，攻佔了黃虵鎮，又和突厥騎兵匯合，連續攻取了榆次和介州。唐高祖李淵一看，這還得了，趕緊派太常少卿李仲文去抵禦。可李仲文哪裡是宋金剛的對手，被打得大敗，只有他自己一個人逃了回來。劉武周的軍隊乘勝追擊，又攻破了平遙、石州，殺死了唐朝的刺史王儉，接著又攻取了浩州。李淵沒辦法，只好又派尚書右僕射裴寂為晉州道行軍總管，去攻打劉武周。可裴寂也是個草包，到了前線就被劉武周打得落花流水，差點連命都丟了。

這時候，劉武周的軍隊已經逼近晉陽了。駐守晉陽的齊王李元吉一看這架勢，嚇得不輕，他把守城的重任交給司馬劉德威，自己則連夜帶著妻妾跑回了長安。劉武周就這樣輕輕鬆鬆地佔據了太原，這可是李唐王朝的龍興之地啊。佔領太原之後，劉武周又派宋金剛去攻打晉州，只用了六天時間，晉州城就被攻破了，唐軍的右驍衛大將軍劉弘基也被俘虜。接著，宋金剛又攻取了澮州，周邊的附屬縣城也都紛紛歸附。這時候，夏縣的呂崇茂也殺掉縣令，自稱魏王，歸順了劉武周；隋朝的河東守將王行本也和劉武周求和。這下李唐朝堂可炸了鍋，唐高祖李淵甚至都想放棄河東之地，採取固守河西的策略了。

可就在這關鍵時刻，秦王李世民站了出來，他對李淵說，太原是咱們李唐的根本，絕對不能放棄，我願意帶領三萬唐軍，去打敗劉武周，收復河東之地。李淵一看，也只能死馬當活馬醫了，就同意了李世民的請求，讓他統帥唐軍進攻河東。

武德二年十一月，李世民率領唐軍踏冰渡過黃河，屯兵於柏壁，和劉武周的部將宋金剛對峙。這時候，李淵又派永安王李孝基、陝州總管於筠、工部尚書獨孤懷恩、內史侍郎唐儉去攻打夏縣，可沒打下來，只好屯兵於城南。劉武周的部將呂崇茂和尉遲敬德一看，機會來了，就夜襲唐軍營地，這一戰，唐軍大敗，四大主將都被俘虜。李世民一聽，這還得了，他知道尉遲敬德要返回澮州，就派殷開山和秦瓊在美良川堵截。尉遲敬德沒想到會在這裡遭遇埋伏，被打得大敗而歸。

可劉武周不甘心失敗，他又派尉遲敬德和尋相去蒲州支援王行本，結果又被李世民在蒲州擊敗。李淵一看李世民打了勝仗，親自前往蒲津關勞軍。李世民知道後，率領輕騎從柏壁前往覲見。這時候，宋金剛趁機派兵圍困絳州，李世民趕緊統兵返回，宋金剛一看李世民回來了，嚇得不戰而退。

劉武周這邊也是屢戰屢敗，他帶兵前往浩州攻打唐將李仲文，卻連戰連敗。這時候，他的軍隊糧草也快耗盡了，宋金剛一看這情況，知道再這麼下去不是辦法，就決定撤兵。李世民一看，機會來了，他趁機統兵追擊宋金剛，兩軍在雀鼠谷一日之內大戰八場，唐軍是大獲全勝，斬殺及俘獲劉武周軍隊數萬人。宋金剛逃到介州，李世民緊追不捨，率領大軍追殺而至。宋金剛沒辦法，只好統帥兩萬軍隊出西門列陣，和唐軍展開大戰。可這時候的劉武周軍隊已經是強弩之末了，哪裡還打得過士氣正旺的唐軍，這一戰，宋金剛再次大敗，他只好率領少量輕騎兵逃走。

尉遲敬德等人一看宋金剛敗了，劉武周也大勢已去，就舉州歸順了唐朝。劉武週一聽這個訊息，嚇得魂飛魄散，他知道自己已經沒有翻盤的機會了，只好率領五百騎兵向北逃奔突厥而去。宋金剛還想收攏殘部繼續對抗唐軍，可手下的人都不願意再跟著他了，最終他也只好親率百餘騎兵投奔突厥。

李世民可沒打算就這麼放過他們，他繼續統兵收復幷州。不久之後，宋金剛離開突厥，想要返回上谷，結果被突厥騎兵追殺，還被腰斬了。劉武周也不甘心失敗，他謀劃著返回馬邑，可事情洩露了，突厥人一看，你這小子還想背叛我，於是也把他給殺了。從劉武周自立反隋開始，到他兵敗被殺，一共也就六年時間，真可謂是“其興也勃焉，其亡也忽焉”。

劉武周這一生，雖然短暫，但卻充滿了傳奇色彩。他從一個小小的校尉，一步步崛起，成為割據一方的霸主，不可謂不勇猛，不可謂不有野心。他聯合突厥，對抗李唐，在隋末的亂世中掀起了一場不小的波瀾。可他終究還是沒能笑到最後，他的失敗，固然有李世民太過強大的原因，但也和他自身的侷限性分不開。他“軍無蓄積，以虜掠為資”，在並汾一帶沒有取得地主階級和人民群眾的支援，建立起鞏固的統治基礎，這就註定了他只能是曇花一現。

參考《舊唐書》