公元320年六月，石勒在消灭了邵续的抵抗力量后，又派孔苌前往攻打河北仅存的晋朝残余势力即幽州刺史段匹磾（原并州刺史刘琨意于两年前被段杀害。故事详见后面有关晋元帝的系列）。他攻陷了段文鸯的十来座军营，便仗恃胜利而不设防。结果段文鸯夜袭后赵大军，孔苌大败后退回到后赵。
当初，蓬陂坞主陈川自称陈留太守。晋豫州刺史祖逖攻打樊雅时，陈川派遣部将李头前去相助。李头奋力作战颇有功劳，祖逖十分欣赏他。祖逖那时获得一匹樊雅的骏马，李头很想得到这马但又不敢明言。祖逖知道他的意思后，便把骏马赐给了他。李头感激祖逖的知遇之恩，经常叹息道：“有这人作主公，我死也无恨了！”陈川听说后因嫉妒居然把李头杀了。李头的党徒冯宠便率领他的部众投降了祖逖。陈川更加愤怒，便派部将魏硕劫掠豫州各个郡县，大肆抢夺百姓的子女和车马。祖逖派部将卫策在谷水伏击他们，把魏硕掠夺的平民和财物全都归还给受害人，自己军队毫无侵吞。
陈川开始害怕，便于公元320年四月在浚仪（今河南开封）投降了石勒。祖逖率领军队讨伐在蓬关的陈川，石虎听说后，领兵五万来救陈川。祖逖设下奇计把石虎打败。石虎退出蓬关后，又收兵劫掠豫州。祖逖和石虎再战于浚仪，但这次祖逖兵败，退守梁国。石勒又派遣部将桃豹带兵进逼蓬关，祖逖又退到淮南。石虎把陈川的五千户部众迁徙到襄国，留桃豹等人守卫陈川的故城。
六月，祖逖部将韩潜与桃豹分别占据陈川的故城，桃豹占据西台，韩潜占据东台，桃豹的民众由南门出入放牧，韩潜的民众则由东门出入，双方就这样相持了四十多天。祖逖把泥土装在布囊里，上面再放上少许一些大米，让一千多民夫运上东台，装作军粮很足的样子。祖逖又派好几个人挑着大米，假装在路旁休息。桃豹的士兵要把他们赶走，祖逖的这些人便丢弃了米担跑走了。桃豹的士兵已经缺乏军粮很久了，现在抢得大米，便以为祖逖的士兵都吃得很饱，便越来越恐惧。后赵将领刘夜堂用一千头毛驴运送军粮给桃豹，祖逖派韩潜和另一个部将冯铁在汴水边伏击他们，把军粮全抢去了。桃豹军队终于断了粮，只好连夜逃走，退驻到东燕城。祖逖派韩潜进驻封丘进逼他们，冯铁也占据了二台。祖逖镇守在雍丘（今河南杞县），多次派遣兵将袭击后赵军队，后赵地方守军投降祖逖的很多，因此后赵的边境状况变得很糟糕。
早先，赵固、上官巳、李矩、郭默等尚在北方抗战的晋将互相攻击，互不买帐。祖逖派使者前往调解他们，为他们示以祸福，于是众人都愿意接受祖逖的节度。
秋七月，晋元帝下诏提升祖逖为镇西将军。祖逖在军队中和将士同甘共苦，约束自己，鼓励军民发展农业和养蚕业，安抚接纳新近归附的部队，不管亲疏贵贱都一律施以恩礼。黄河沿岸的民间坞垒，凡是先前有把儿子放在后赵作人质的，祖逖都听任他们两边摇摆，还经常派遣游军假装去抄袭他们，表明他们并未依附祖逖，好让石勒不杀害他们的人质。这些坞主都对祖逖感恩戴德，后赵有什么阴谋，他们都会及时秘密告诉祖逖，于是祖逖经常有所斩获。自黄河以南，很多地方都背叛后赵而回归东晋。
祖逖自己勤俭节约，从不私敛资产，家族子弟也都亲自耕耘田地，砍柴挑担，还帮助收葬死难将士的枯骨，为他们洒酒祭奠，因此百姓都非常感动悦服。祖逖曾经召开置酒大会，坐席上的老年人都哭着说道：“我们都这么老了！还遇到像父母般的好官，死了都没任何遗恨！”接着吟歌道：“幸哉遗黎免俘虏，三辰既朗遇慈父，玄酒忘劳甘瓠脯，何以咏恩歌且舞。” 祖逖的广得人心到了这种程度。刘琨在给亲友的书信中，曾经非常称赞祖逖的威德。
祖逖一边练兵一边积累稻谷，为收复河北作长远计划。石勒非常担心，不敢入侵祖逖的地盘，给臣下下达诏书说：“祖逖多次成为边境的祸患。然而他是北州人士的名望，风流倜傥，有怀念故土的愿望。我现在命令派人前往幽州，修复祖氏的坟墓，并安置两家人长期守护它。希望祖逖如果来到赵地，将会感恩而停止他的暴行。”祖逖听说后十分高兴，便派遣参军王愉出使到石勒那里，赠送他地方特产，和他修结和好的睦邻关系。石勒也热情招待来使，并派遣左常侍董树带上一百匹好马和五十斤黄金回礼答谢祖逖，又写信给他，请求互通信使以及互通贸易。祖逖不做任何书面答复，但听任边境双方互通贸易集市，结果收到比以前高出十倍的利润。祖逖部将童建杀了晋新蔡内史周密后投降后赵，石勒把童建杀了，将他的首级送给祖逖，说：“叛臣逃吏都是我深恶痛绝的。将军所厌恶的人，就跟我所厌恶的一样。”祖逖非常赞许石勒的所为。自从这以后，后赵叛归到祖逖这边的人，祖逖一概不予接纳，并禁止部将去侵暴后赵的百姓。因此边境之间，稍微得到休息。
石勒这时开始制立轩悬的音乐，八佾的舞蹈，并让人建造皇帝御用的金根大车驾，帝王的黄色车盖和左面大旗。到这时，天子的车旗和礼乐全都具备了。
公元321年三月，石虎再次进攻坚守山东厌次的段匹磾。孔苌则进攻他统辖区内的其他城池，很快便全攻下来了。段文鸯跟段匹磾说道：“我们历来以勇猛著名，因此受到百姓的倚靠和期望。现在却眼看着百姓被劫掠而不去救护，这是表示自己的胆怯。一旦百姓大失所望，谁又会再为我们拚死作战！”当下便率领几十骑壮士出战，杀了很多后赵士兵。段文鸯一直打到战马疲乏，伏在地上再也站不起来为止。石虎呼吁他道：“段兄和我都是夷狄，我想和段兄同为一家已经很久了。今天老天果然不违背我的愿望，能够在这里得以相见，为何还要争斗！请段兄放下兵器和我做朋友吧。”段文鸯骂道：“你是寇贼一个，早就该死了。我兄长不用我的计策，才使得你有今天的猖狂。我宁可战死，也不会屈服给你！”便下马苦战。使用的长槊折断后，段文鸯仍然手持大刀战而不已，从早上一直打到傍晚。后赵士兵将他四面围住，纷纷解下披在马背的鞍甲包住身体，拥上前去要活捉段文鸯。段文鸯精疲力竭之后被后赵兵捉住，于是厌次城内斗志一下子垮了。
段匹磾想单枪匹骑逃归江东的东晋朝廷，但邵续弟弟邵洎想活捉段匹磾好献给石虎，邀功自牍，便派兵阻拦，不让他出城。当时东晋朝廷使者王英还在厌次，邵洎也想捉住王英送给石虎。段匹磾声色俱厉地责骂他道：“先生不能遵照你兄长的意愿，逼得我不能够回归朝廷，这已经很过份了！现在居然还要捉拿天子的使者？我虽然是夷狄之人，你这样做的确是从没听说过的！”王英因此得免。段匹磾趁机跟王英说：“匹磾我世受朝廷的重恩，不忘忠孝。今天事情到了这一步，我本打算回归朝廷去谢罪。然而现在被逼迫无奈，看来去不成了。但只要我一息尚存，未死之日，我的心是不会忘本的。”王英最终得以渡过黄河南归。
邵洎于是与邵缉和邵竺等人载着棺柩出降。段匹磾身着晋朝官服，手持晋节，跟他们出来见石虎。他拒绝下拜，说道：“我深受晋室国恩，志在消灭你们。不幸我国自乱，一至于此。既然不能战死，我也不能给你下拜敬礼。”石勒和石虎曾经与段匹磾结为兄弟，石虎即刻起身给他作拜。
段氏兄弟来到襄国后，石勒任命段匹磾为冠军将军，段文鸯为左中郎将，他们的部将卫麟为右中郎将，全都授予金章紫绶。石勒还让那里的三万多户流民，恢复他们的本行业。他然后在厌次安置守卫部队，任命地方官吏，对百姓加以安抚。于是幽、冀、并三州都并入后赵。段匹磾不肯为石勒行君臣之礼，经常身著晋朝官服，手持晋节，但石勒并不问罪。然而在石勒死后，段匹磾和段文鸯以及邵续最终都被后赵杀害，那是后话。
同年五月，终南山发生山崩，长安人刘终在山崩的地方得到一枚一尺见方的白玉，上头有文字说：“皇亡，皇亡，败赵昌。井水竭，构五梁，咢酉小衰困嚣丧。呜呼！呜呼！赤牛奋靷其尽乎！”前赵大臣们都来道贺，认为这是石勒灭亡的征兆。刘曜非常高兴，斋戒七天后在太庙接受这枚白玉，同时大赦境内，任命刘终为奉瑞大夫。中书监刘均进言道：“臣听说国家主宰山川，所以山崩水竭，君主常常因此不举行活动。终南山是京师的镇山，国家所瞻仰的地方。如今它无故崩塌，这代表的凶兆严重得难以形容！昔日三代灭亡的末年，也出现过类似的灾难。现在朝臣们都说这是祥瑞，只有臣觉得不对，这实在是上忤圣旨，下违众议。然而臣或许真不懂得大道理，私下的确不敢苟同。为何这么说呢？白玉对于一般山石而言，就像君王对于臣下一样。山崩石坏，象征着国倾人乱。‘皇亡，皇亡，败赵昌者’，这指的是皇室将为赵所败，赵因此而昌盛。如今我们大赵在秦雍地带建都，而石勒却占据全赵的地盘，所以说赵昌的应验，应当在石勒，而不在我们。‘井水竭，构五梁’又怎么说呢？井指的是东井，是秦的地盘；五指的是五车，梁指的是大梁，五车和大梁，都是赵的地盘，所以这句话意味着秦会枯竭消灭，从而构就赵的成功。‘咢’吗？岁的别名是咢，‘咢酉小衰’则意味着在酉年，会有败军杀将的大事发生。‘困’指的是困敦，子年的年名，玄嚣也紧接在天之下，所以‘困嚣丧’意味着在子年，国家会丧败。‘赤牛奋靷’指的是赤奋若，是丑年的岁名。‘牛’指的是牵牛，东北方的星宿，也是丑的范围，意味着在丑年国家会灭亡，没人能够幸免。这谆谆的警诫悟导，是希望陛下勤修德政好祛除厄运。即使这白玉是嘉祥的征兆，臣还是愿意陛下朝夕保持警惕。《尚书》上说：‘虽休勿休。’愿陛下追循周公盟津的美谈，捐弃虢公丑梦见恶兆却强迫别人说是吉兆的行为，请归去修身沐浴，等待妖言自散。”刘曜听了后脸色变得很不高兴，御史便要弹劾刘均狂言胡说，诬蔑祥瑞，要求按照大不敬论罪。刘曜说：“这是灾是瑞，实在没人知道。刘君这样深切地警戒朕仁德不足的地方，朕从他那里得到的忠言好处很多，有什么罪好论的！”
要想知道两赵后来的情况，请看下篇文章。
