忽必烈登上汗位之前，其弟阿里不哥也在和林通过一些蒙古旧贵族的支持下登上汗位。为此，两人为争夺正统展开了长达四年之久的斗争。最初，阿里不哥占据上风，拥有蒙古贵族绝大部分的支持。经过耀碑谷大战和昔木土脑儿大战，忽必烈逐渐取得军事上的优势。
最后忽必烈封锁了北运的物资，而“哈喇和林城的饮食，通常是用大车从汉地运来的。忽必烈合罕封锁了运输，那里便开始了大饥荒，物价腾涨。阿里不哥陷入了绝境。阿里不哥内部也逐渐发生了分裂，中统五年(1264)七月，阿里不哥投降。
元中统三年(1262)二月，正当忽必烈与阿里不哥斗争时，归顺蒙古的山东军阀李擅突然背叛元廷，兴兵作乱。李擅此人一直以来“挟敌国以要朝廷，而自为完编益兵计，其谋亦深矣”，多次托辞拒绝元朝的数次调军要求。在忽必烈与阿里不哥争斗之际，李擅趁机发动了叛乱。忽必烈派汉人统帅史天泽在济南府彻底击败李擅叛众，将其处死。由于李擅的叛乱是在忽必烈争夺汗位的特殊时期发生的，忽必烈从此对汉人有了很深的猜忌。
因为南宋王朝的存在，灭宋之前元军不能够全力对外征战，忽必烈所发动的对日战争最终以失利而告终。所以，他更是迫不及待的想早日除掉南宋，为其对外扩张打通一条更为便捷的路。至元八年(1271)忽必烈在其统治地位日趋巩固时下诏：“顷者曹宿诣庭，奏章申请，谓既成大业宜早定于鸿名。在古制以当然，于肤心乎何有。可建国号曰大元，盖取《易经》乾元之义”。正式建立元朝。
此时的南宋政权仍旧偏安江南，不思进取，社会矛盾激化严重。鉴于前几次征宋失利的教训，忽必烈放弃了主攻四川的战略决策，决定中央突破。即先取襄樊，直渡长江，攻占临安的军事方案。统帅阿术采取了南宋降将刘整有关元廷“精兵突骑，所当者破，惟水战不如宋耳!夺彼所长，造战船，习水军，则事济矣”的建议，积极备练水军，建造战船。同时阿术也向忽必烈建议“所领者蒙古兵，若遇山水碧栅，非汉军不可，宜令史枢率汉军协力征进。”
最终，襄樊在蒙汉军队合力围攻之下被攻破。至元十三年(1276)，元军在蒙古大将伯颜的统领下，攻取临安，宋恭宗降元。攻取临安之后，南宋大臣陆秀夫和张世杰拥立赵昌为帝，文天祥等部分将领率南宋残部继续抗元。然而终究势力单薄，文天祥兵败被俘而杀。至元十六年(1279)，元军在广东崖山击败了最后一支南宋军队，忽必烈完成了中国的大一统。
参考资料
【1】元史
