泰始六年（公元270年），鲜卑秃发树机能起兵反晋，并于六月在万斛堆的战争中杀秦州刺史胡烈，又在金山击败凉州刺史苏愉。
泰始七年（公元271年），树机能联合其他胡人在青山围困凉州刺史牵弘，牵弘军败而死。
司马炎命汝阴王司马骏为镇西大将军，都督雍、凉等州诸军事，坐镇关中，咸宁元年（公元275年），司马骏对鲜卑进行讨伐]，消灭三千多人，树机能送质子向晋朝请降。
咸宁三年（公元277年），因秃发树机能意图劫夺佃兵，晋将文鸯率军讨伐，树机能战败，诸胡共计有二十万人归降。
咸宁四年（公元278年），秃发树机能命部将若罗拔能在武威大破晋军，斩杀凉州刺史杨欣。咸宁五年（279年）正月，秃发树机能攻陷凉州，司马炎非常后悔，临朝哀叹后说道：“谁能为朕讨此虏者？”
马隆请命而往，率三千五百勇士西征。期间，匈奴刘渊也自请而往，孔恂、杨珧坚决反对，认为刘渊的祸患远大于秃发树机能。马隆向西渡过温水，秃发树机能等人带领几万名部众凭借险阻抵抗。因为山路狭隘，马隆就造了扁箱车，还造了木屋，置于车上，边作战边前进，走了一千多里，打得敌人死的死，伤的伤，损失惨重。自从马隆西去，音讯断绝，朝廷为他担忧，有的人说他们已经都死了。
后来马隆的使者夜里到了，司马炎拍着手高兴地笑了。清晨，召集群臣对他们说道：“假如听从了渚位的意见，就没有凉州了。”于是下命令，赐给马隆符节，授官宣威将军。马隆到了武威，鲜卑部落首领猝跋韩且万能率领一万多部落来归降。十二月，马隆与树机能大战，杀了树机能，凉州于是平定。
西晋成立之初，司马炎为了收买人心，大封功臣，许多大家族都被封为公侯。短短几年时间，司马炎共封了57个王，500多个公侯。蜀汉灭亡不久，司马炎为了稳定巴蜀人心，又任用了一批原在蜀汉供职的官吏为朝官。司马炎没有采取“一朝天子一朝臣”的惯用手法，而是采取拉拢、收买人心的办法，稳定各级官吏，以确保社会稳定地过渡。因为司马炎还看到，蜀汉虽亡，东吴未灭，全国还未统一。于是他开始运筹帷幄，准备击灭东吴，结束全国的分裂局面。
早在三国鼎立之时，魏的势力已超过蜀、吴，如以人口计，魏约占全国人口的近半数。263年，魏灭蜀之后，三国鼎立变成了南北对峙，魏的力量更加强大。司马炎代魏之后，雄心勃勃，“密有灭吴之计”，准备出兵灭吴，统一全国。
晋朝全国正处于一种积极的态势之中，然吴国却是在走下坡路。吴主孙皓的荒淫、残暴使吴国丧失了重整旗鼓的机会。孙皓命令大臣的女儿要先经过他的挑选，漂亮的入后宫供他一人享受，剩下的才能谈婚论嫁，这使他丧失了大臣们的支持，自毁根本，最终成了孤家寡人。对他劝谏的中书令贺邵不但没有受到他的表扬，反用烧红的锯条残忍地锯下了舌头，其残暴程度与商纣王没有任何区别。