公元314年中，石勒平定了幽冀的功劳，被汉主刘聪加封为陕东伯。但在山西的西晋势力还在苟延残喘。刘琨派部将王旦进攻中山，赶走了石勒的太守秦固。石勒部将刘勔抗拒王旦，不但把他打败，还在望都关生擒了王旦。石勒又袭击在乐陵的邵续，邵续拼死抵抗，结果石勒大败，不得不收兵退回。
章武人王昚起兵反汉，坚守在科斗垒，扰乱石勒的河间和渤海各个郡县。石勒任命部将张夷为河间太守，临深为渤海太守，各自率步骑三千人前往镇守，又派长乐太守程遐进驻昌亭作为他们的声援。石勒又迁徙平原的乌桓人展广和刘哆等人的部落三万余户到襄国。
石勒派石虎袭击在梁城的乞活军将领王平，石虎结果战败退回到襄国。
公元316年夏四月，石勒派支雄和逯明进攻战败后跑到东武阳（今山东莘县）的宁黑。东武阳陷落后，宁黑跳黄河自杀身死，石勒便迁徙他的部众一万多人到襄国。
同时，石虎进攻在廪丘（今山东郓城）的刘琨侄子刘演，幽州刺史段匹磾派弟弟段文鸯去救刘演。石虎畏惧鲜卑骑兵，便退到卢关津暂避。段文鸯寻找不到战机，便在景亭驻军。兗豫一带的大豪绅张平等人起兵来救刘演。石虎在夜晚放弃军营，在外头设伏，并扬声说要回到河北去。张平等人信以为真，便想趁机连夜劫营，结果发现只是一座空营。石虎伏兵大举出击，把张平等人打败后，乘胜攻陷廪丘。刘演逃到段文鸯的驻军去，而刘演幼年的弟弟刘启则被石虎生擒，送到襄国去了。石勒因为刘琨曾经安抚照顾过他母亲，便善待刘启，赐田宅给他，并让儒官给他授课，教他经文。
当时大闹蝗灾，中山和常山一带尤其严重。中山丁零人翟鼠聚众背叛石勒，攻打中山和常山。石勒亲自率领骑兵前往镇压，捉获翟鼠的母亲和妻子后回到襄国。翟鼠退保到胥关后，又逃到代郡去。
冬十一月，石勒包围了坚守坫城（今山西昔阳附近）的晋乐平太守韩据，韩据向刘琨求救。刘琨新近刚得到拓跋猗卢的大军，便想趁着锐气讨伐石勒。部将箕澹和卫雄劝谏道：“拓跋猗卢军队大多数虽然都是晋民，但他们沦陷到胡人的区域已经很久了，对明公的恩信既不了解也未必习惯，恐怕很难使用他们。不如暂且在内收取鲜卑人剩余的谷物，在外抄拿胡贼的牛羊，然后闭关据险，务农息兵，等感化了他们之后，再使用他们也不晚。这样不怕不成功的！”刘琨不听他们的劝告，尽数发动拓跋猗卢的部队，命令箕澹率领步骑二万作为前驱，刘琨亲自进驻广牧（今山西寿阳）声援他们。
石勒听说箕澹到来，便准备拦截他们。有参佐建议说：“箕澹兵精马壮，锐不可当，将军不如暂且带兵避其锋芒，用深沟高垒来挫败他的锐气，这是万全之计。”石勒说：“箕澹兵马人数虽多，但远来疲惫，而且号令不一，算什么兵精马壮！现在寇敌刚来，怎么可以马上退兵！大军一动，再回来就没那么容易了！如果箕澹趁我退兵而大举进逼，我光顾逃溃还来不及，又怎么能够深沟高垒？这是自取灭亡的主意。”石勒于是马上把提这建议的人杀了，然后任命孔苌为前锋都督，给三军下令道：“后出兵的当斩！”石勒占据险要，在山上设置疑兵，在前方设下两处伏兵，然后派出轻骑和箕澹作战，再假装败走。箕澹纵兵追赶，进入埋伏圈中。石勒大军前后夹击，彻底打败了箕澹的军队，俘获铠马数以万计。箕澹和卫雄只带了一千馀骑逃回到代郡，韩据也弃城逃走。石勒于是攻拔坫城，并州震骇。
当时留守并州的晋司空长史李弘在并州投降了石勒。刘琨那时驻军在广牧，被石勒所逼，又无法退守并州，因而进退两难，不知所措。恰巧段匹磾送信邀请他前往，刘琨阅信后高兴地说：“段公真是雪中送炭！”不久，刘琨便带着他的人马从飞狐直奔蓟城。段匹磾见到刘琨，非常亲热，和他不但结为姻亲，也结拜为兄弟。
石勒接着把阳曲和乐平的民众迁往襄国，在这两地安置了守军将士后回到襄国。
石勒出征乐平时，他辖区的南和县令赵领招集了广川、平原、渤海等地的几千户人家起兵反叛石勒，投奔邵续。河间人邢嘏屡次拒绝石勒的征召，这时也聚众数百人反叛。石勒巡视冀州南部各个县城，任命右司马程遐为宁朔将军，负责冀州七郡的军事。
石勒姊夫张越和石勒几个部将玩蒱博的赌博游戏，石勒临场观赌。张越随便和石勒开玩笑，严重冒犯了他，石勒怒不可遏，叱喝力士把张越的腿胫折断，杀了他。
孔苌接着攻打逃到代郡的箕澹。箕澹部卒不到一千人，虽然奋力抵抗，终于寡不敌众，都被孔苌士兵所杀。
孔苌等人进而攻打在幽冀一带造反的贼帅马严和冯暏，但长久攻不下来。司、冀、并、兖四州的流民有几万户在辽西，他们又把熟识的人从那四州招引过来，造成当地百姓民不安业。石勒请教已经被封为濮阳侯的谋臣张宾，张宾说：“马严和冯暏本来和主公并无深仇大恨，而流民也都有恋本的心思。如果主公现在就班师回去，然后选择优良的地方官吏，让他们招怀安抚跟随马严的群众，那么幽冀二州的寇盗便可很快肃清，避难到辽西的流民也会很快回家。”石勒觉得有理，便召孔苌等部将回来，任命武遂县令李回为易北督护兼高阳太守。马严的士兵一向信服李回的威德，很多人便背叛马严归附了李回。马严惧怕而出逃，结果淹死在黄河里。冯暏见大势已去，便投降了。李回迁移到易京（今河北雄县）后，从辽西归来的流民相继于道。石勒非常高兴，封李回为弋阳子，增加张宾的封邑一千户，提升他为前将军；张宾坚决推辞不肯接受。
公元317年六月，晋豫州刺史祖逖占据谯城（今安徽亳州）。石勒派石虎包围谯城，晋南中郎将王含派部将桓宣去救。石虎不敢孤军深入，便解围而去。祖逖上表请封桓宣为谯国内史。
祖逖字士稚，是范阳遒县人。他祖上都是晋朝大官，是北州的大姓。祖逖父亲祖武，曾担任过晋王掾即助手和上谷太守。祖逖少年时父亲就死了，他们兄弟六人成了孤儿。他的兄长祖该和祖纳都开朗爽快而有才干。祖逖性格豁荡，不修礼仪，到十四五岁还不怎么读书，他的兄长都感到忧虑。然而他轻财好侠，慷慨而有节尚。每次到他家的雇农田舍，总是假称是他兄长的意思，散发谷帛用以周济贫困户，因此乡党和宗族都很看重他。祖逖后来开始博览群书，涉猎古今。他往来京师时，见到他的人都认为祖逖有赞世的才具。他后来侨居在阳平。祖逖二十四岁那年，阳平县推荐他为孝廉，司隶州也让他举秀才，但祖逖都不去。他少年时就有大志，曾与刘琨同时担任司州主簿。同寝室睡觉时，祖逖半夜听到鸡叫，踢醒刘琨说：“这不是什么坏的声音！”因而两人一起起床练习剑法武艺。这就是成语“闻鸡起舞”的由来。祖逖和刘琨都有英雄气慨，每当谈论时事时，经常半夜起来，互相鼓励道：“假如四海鼎沸，豪杰并起，我将和足下尽量避免在中原对战。” 京师大乱时，祖逖率领亲戚朋党数百家到淮水泗水一带避难。他用自己所乘的车马载同行的老弱病残，而自己徒步行走。他还和大家分享药物和衣粮。加上他又多有权略，所以老少都尊敬他，推举他为领头的。他们到达泗口后，当时的左丞相司马睿便任命祖逖为徐州刺史，不久后又征召他为军谘祭酒。因此他搬到丹徒的京口定居。祖逖因为社稷倾覆，经常怀着振复河山的大志。他的很多宾客义徒都是豪杰勇士，祖逖待他们像自己的子弟。当时扬州一带闹大饥荒，这些人多数成为劫掠富人的盗贼。祖逖不但安抚慰问他们，有时还开玩笑说：“要不要再到南塘一走一遭？”南塘是当时夫人聚居的地方。如有人被官府抓了，祖逖总是及时营救他们。不少人因此批评祖逖，然而他若无其事。
祖逖居住在京口时，纠合了这些骁健的随从，然后向司马睿进言说：“晋室的大乱，并非由于上无道而下怨叛，而是由于宗室争权，自相鱼肉，最后致使戎狄乘隙而入，荼毒中原。如今遗民遭到异族贼寇的残害，人人想要自奋。大王如果真能派出军旅，让有如我祖逖这样的人统帅收复中原，那么北方的郡国豪杰，必然会有人望风响应！”司马睿一贯缺乏北伐的大志，便敷衍地任命祖逖为奋威将军兼豫州刺史，给他一千人的军粮，三千匹布，但不给他任何兵员和铠甲兵器，让他自己召募。祖逖带着自己的一百多家部曲北渡长江。船到中流，祖逖击楫拍浆发誓道：“祖逖如不能清扫中原收复失地，那就有如这大江（一去不复返）！”这也是成语“中流击楫”的出处。祖逖于是进驻淮阴，开始冶铸兵器，同时招募到二千馀人后继续北进。
北中郎将刘演带兵抗拒石勒时，流民张平和樊雅各自聚众数千人在谯县成为堡垒坞主。司马睿担任丞相时，派遣行参军谯国人桓宣前往游说张平和樊雅。他俩信任桓宣，都请求投降司马睿。刘演便任命张平为豫州刺史，樊雅为谯郡太守。又有董瞻、于武、谢浮等十余部，各自有数百手下，也都统属张平。
当豫州刺史祖逖进驻芦洲时，曾派遣参军殷义去见张平和樊雅。殷义非常看不起张平。看到他的住屋，轻蔑地说：“这可以用作马厩。”见到大镬，又说：“这可以用来铸铁器。”张平说：“这可是帝王的大镬，天下清平时即可使用。怎能就这样把它毁了！”殷义说：“你头颅都未必保得住，还可惜这大镬！”张平大怒，当场在座位上亲手杀了殷义，然后严兵固守。祖逖攻打他，但很长时间都攻不下来。祖逖便引诱张平的部将谢浮，让他趁便杀了张平。谢浮于是假装请张平赴宴，然后在宴会上杀了他献给祖逖。
晋王司马睿嘉奖祖逖，派人运粮给他，但因为道远一时来不了，因此祖逖军中大闹饥荒。祖逖只好进据太丘。当时樊雅还占据着谯城，与祖逖相拒。祖逖攻他不下。樊雅派遣兵众夜袭祖逖，进入了他的营垒。樊雅拔戟大呼，直奔祖逖的帐幕，士兵大乱。祖逖命令左右随从拒敌，他手下督护董昭与贼众大战，结果打败了樊雅。祖逖率众追赶，但张平剩余的兵众也来帮助樊雅攻打祖逖。祖逖向南中郎将王含求救。桓宣当时担任王含的参军，王含便派遣桓宣带兵五百去帮助祖逖。祖逖跟桓宣说：“先生先前已得到对方的信赖，今日我想再请先生为我去游说樊雅。”桓宣因而单马只带两个随从去见樊雅，劝他说：“祖豫州正打算荡平刘（聪）石（勒），依靠将军为援。先前殷义行为轻薄，实在不是祖豫州的本意。”樊雅即前往祖逖处请降。
不久，占据江东的晋王司马睿传檄天下，声称：“石虎胆敢率领犬羊，渡河纵毒，我现在派遣琅邪王司马裒等人率领九军，锐卒三万，水陆四道，前往贼人场所。所有兵马都必须接受祖逖的节度。”但司马睿并没有真正北伐的打算，很快便又召司马裒回到建康。秋七月，江东大旱；司、冀、并、青、雍五州则大闹蝗灾。同时黄河和汾水泛滥，被漂走的有一千多家。
石虎从长寿津渡过黄河，入侵梁国（今山西韩城），杀了晋内史荀阖。段匹磾推举刘琨为大都督，发檄文给他兄长辽西公段疾陆眷以及叔父段涉复辰和堂弟段末柸等人，要求和他们在固安（河北）会合，共同讨伐石勒。石勒派谋士王续带上金银财宝送给段末柸，想离间段氏。段末柸既想报答石勒当年厚待他的恩情，又因为得到这笔丰厚的贿赂，而且他还曾经和石勒结为父子。所以他劝说段疾陆眷和段涉复辰道：“你们作为叔父和兄长，却听命于侄子和弟弟，实在太可耻了。况且即使侥幸成功，匹磾独自受益，跟我们又有何相干！”段疾陆眷和段涉复辰听从他的劝告，便各自带兵回去。刘琨和段匹磾因为力量不够，不能独自留下，只好回到蓟城去了。
要想知道刘琨和祖逖后来的情况，请看下篇文章。
