晋时，匈奴等少数族贵族指挥军队，到处烧杀掳掠，使人民生命财产受到严重摧残。
广大人民迫切盼望东晋朝廷出兵北伐，消灭异族割据势力。
但是东晋以司马睿为首的统治集团只图苟安江左，素无北伐之志。

这和东晋的实力有一定的关系。在地图上看，晋帝国仍拥有淮河以南广大的南中国地区。但那时候长江以南还没有充分开发，广州（广东及广西）、交州（越南北部）一带，遍地毒蛇猛兽，行人稀少。版图固然很大，资源和兵源却十分贫乏。

因此，司马睿虽然口头上呐喊要北伐复国，但他内心并不愿意救出那个可怜的侄皇帝，而把自己从宝座上挤下来，所以他满足他的小朝廷局面。
比如，建兴元年(313)，愍帝派人诏司马睿出兵攻洛阳，司马睿借口要平定江南，“未暇北伐"，加以拒绝。他们只求维持长江以南的半壁江山。一些南方大族更是不想北伐。

尽管如此，在东晋统治集团中也有一些深明民族大义、充满爱国精神、坚决主张北伐的人，祖逖就是其中的杰出代表。

01、孤身北伐
祖逖(266-321)，范阳遒县（今河北涞水北）人，大族出身，他幼年读书并不用功，长大后，开始博览群书，通晓古今。他与刘琨是好朋友，两人同睡一张床，每天清早听到鸡叫，两人就起床，在庭中舞剑练功，这就是“闻鸡起舞”成语的来历。
洛阳失守后，祖逖率领宗族乡里南渡到江南。途中他常把衣粮车马让给老弱 病残，深得大家爱戴。

到江南后，祖逖被任命为军谘祭酒，居于京口（今江苏镇江市）。他看到国破家亡，上书司马睿说：“晋室之乱，不是因为上无道而下怨叛，而是由于宗室争权，自相鱼肉，才使戎狄乘机入侵中原。今北方遗民遭受蹂踏，人自思奋，大王如能命将出师，让我当统帅去北伐，北方人民与郡国豪杰必然会望风响应！”

但是司马睿不想北伐，又不好公开地拒绝祖逖反攻，就给祖逖一个奋威将军、豫州刺史的空头头衔，只发给他一些朽败的武器，粮秣兵士则完全没有，让他自己招募士兵去北伐。
祖逖虽然既无兵卒，又无武器，但他怀着收复中原的爱国之心，在建兴元年(313)率领自己南渡时带来的部曲百余家渡江北上，船行至长江中流，祖逖击楫发誓说：“祖逖如不能扫清中原的敌人，就像大江一样有去无回！＂辞色壮烈，大家深深感动，追随祖逖奔赴北伐的最前线。

祖逖渡江以后，驻屯在淮阴（今江苏淮安南）。先在那里修筑起冶铁炉，铸造兵器，同时招募到二千名战士，编成营伍。祖逖开始有了一支坚强有力的部队。

02、收复大片失地
祖逖从淮阴向北进发，首先遇到的是黄河南岸的许多坞壁主。
这些坞壁主在石勒军事力量威慑下，正观望徘徊。坞主张平、樊雅占据谯城（今安徽亳州），与祖逖相持一年。祖逖争取张平部将杀了张平，又使樊雅出降，进据了谯城。不久，又打退了石虎的进攻，取得了初战的胜利。

大兴二年(319)，陈留地方的坞主陈川投降了石勒，祖逖进攻陈川占据的蓬陂（今河南开封市南）。石勒派兵五万援救。祖逖兵败，退到淮南郡（治寿春），石勒派桃豹守蓬陂。次年，祖逖派大将韩潜击败桃豹兵，夺得了蓬陂的东台，桃豹死守着西台，双方各占领了半个城，战斗了40天，相持不下。

大家粮食都发生了困难，祖逖为了战胜敌人，与韩潜商量了一条计策。祖逖叫部下用许多麻袋装上土，假装是粮食，派千余士兵运上了东台，又派几个士兵搬运几袋真米，故意装得疲劳的样子，走到与桃豹交界的路上休息。
桃豹的士兵见了米争着来夺，祖逖士兵赶快逃走。桃豹的士兵抢到了米，很高兴，立刻埋锅做饭。他们一边吃着香喷喷的米饭，一边谈论着祖逖军队粮食充足；而自己营里早已断了粮，因而军心发生了动摇。

石勒知道了情况，为了稳定军心，赶快派了一千多头驴子组成运粮队，运送粮食接济桃豹。祖逖知道这消息，立即派人去袭击，夺得了全部粮食。桃豹听说粮食被劫，吓得连夜逃跑了。
就这样，祖逖军在艰苦的条件下，经过三年多的战斗，依靠北方人民和部分坞壁主的支持，基本上收复了黄河以南的领土。

祖逖北伐，有效地抵御了北方族的南侵，扩大了东晋的疆域，巩固了东晋的边防，对东晋政权的稳固起了重要的作用。这是祖逖的历史功勋。
可是，正当祖逖练兵积谷，准备继续向北进军的时候，东晋朝廷内部的斗争愈演愈烈。

大兴四年(321)，晋元帝派戴渊为征西将军，出镇合肥，防备王敦，祖逖也要受其节制。祖逖感到夙愿难以实现，忧愤成疾；但他仍继续经营虎牢，修筑城垒，坚持不懈，最后死于雍丘（今河南杞县），时年56岁。
他死后， 河南地区又重新被石勒占领，北伐的成果被断送。
后来，豫州人民为纪念祖逖，在不少地方为他立了祠。