1895年冬天，袁世凯来到位于天津和大沽之间的新农镇，接收了由胡燏棻编练的定武军，后者则被清廷调任芦津铁路督办。新农镇，或称兴农镇，又名小站。
当初，清军入山海关，夺大明江山，依凭的是12万八旗兵。当时的八旗兵骁勇善战，所向披靡，锐不可当。天下太平时，八旗兵驻守各地，享受着朝廷给予的丰厚待遇，却不事生产，无须征战，操练懈弛。至嘉庆年间，已沦为没有战斗力的膏粱子弟。
此后，绿营兴盛，逐步取代了八旗的地位。绿营是清军入主中原后收编的汉人军队，所以清廷一直不放心，处处牵制，时时提防，设置了许多节制方法，还不断往绿营中掺入满人，使得其重蹈八旗的覆辙，逐渐腐化。
太平天国起义，八旗与绿营一触即溃，清廷无军可用，只得放权由曾国藩、李鸿章等地方官员另组营勇，湘军、淮军等地方武装应运而生。在与太平军、捻军作战中，营勇显示出惊人的战斗力。然而，甲午年中日之战，作为清廷主要国防力量的淮军不堪御敌，连连惨败；刘坤一统率的湘军同样一败涂地。
清廷强烈地意识到，建立一支有战斗力的现代化军队是捍卫疆土、稳定统治的基础。甲午之战告急时期，清廷召见参与黄海之战的德国籍军事顾问汉纳根(vonHanneken)，他是北洋水师的总教习兼副提督。在这次召见中，他提议先组建一支2000人的外国军官队，再由这些外国军官仿照西式练兵办法，为清帝国编练10万新式陆军，并装备洋枪、洋炮，由海关总税务司赫德(Robert Hart)指挥。他的这一提议遭到李鸿章、胡燏棻等大臣的反对，未被清廷采纳。
甲午年十月，清廷为救亡图存，匆匆设立督办军务处，以恭亲王奕訢为督办，庆亲王奕劻为帮办，翁同稣、李鸿章、荣禄、长麟等重臣为会办，着手编练新军。次月，军务处任命广西按察使胡燏棻前往天津附近马厂屯驻，主持招募新军，聘请德国军官任教习，购置新式武器，仿照德国陆军操典进行训练。早年，胡燏棻就曾上书直陈旧军之腐败。翌年春，胡燏棻初步编练成“定武军”十营，共计4750人，其中步队3000人、炮队1000人、马队250人、工程队500人。
甲午战争期间，袁世凯奉旨前往辽东前线，协助周强办理转运粮械、接收溃卒等后勤事务。期间，他耳闻目睹清军溃败的惨状，萌生了重建帝国军队的想法。甲午之战刚刚结束，他就上书军机大臣李鸿藻，分析战败的原因，并提出编练新式陆军的计划。李鸿藻非常认同他的设想，并向清廷举荐他。清廷很快颁布上谕，将袁世凯调到军务处，职位是“温处道留京兼充军务处”，意思就是温州道员，但留在京城的督办军务处工作。这是一种“虚实结合”的职位安排——前者为虚职，是为了解决官员的实际待遇，后者才是实职。后来，袁世凯赴小站练兵，他的虚职是直隶按察使和工部右侍郎。
袁世凯驻朝鲜期间，曾因协助朝鲜练兵，获得“知兵”之美誉，军务处会办荣禄也听到同僚们称赞袁氏善带兵。进入军务处后，袁世凯主动向荣禄呈递了自己编译的兵书，荣禄阅后，大为称赞，随后对袁世凯处处提携。
1895年底，胡燏棻被朝廷调任他职。督办军务处亲王奕訢沂、奕劻会同军机大臣李鸿藻、翁同稣、荣禄、长麟等联名保荐袁世凯接办定武军。清廷允准。11月1日，袁世凯到创、站，正式接任定武军统帅。
袁世凯是德国军制的“粉丝”，他认为德国陆军是当时世界上最精锐的部队，所以，接管定武军后，他主要仿照德国陆军的建制、方法训练新军。他派部下赴山东、河南、安徽等地州县招募新兵，为防止会党、流氓、罪犯、吸食鸦片者等的渗入，他对兵源把关严格。入伍者必须是当地背景清白的农民，而且由地方政府担保，一旦查出不合格者就追究地方政府的责任。定武军在原有基础上扩编至7000多人，改称“新建陆军”(简称新军)。新军分步、马、炮、工、辎等兵种。在组织架构上，设督练处(即新军总部)，下设参谋营务处、督操营务处、洋务局、粮饷局、军械局、转运局、军医居等机构。各处、局由专人专责，体现了现代军队专业化的特征。新军还设有参谋、电讯等职能，配备军乐队。
袁世凯不惜重金，从德国购置了先进的武器装备。炮兵装备的是德国克虏伯厂出产的57厘米过山炮和七生特半陆路炮等；步兵使用奥匈帝国制造的曼利夏步枪；骑兵装备曼利夏马枪和战刀；军官一律佩带六响左轮手枪和佩刀。
新军开设炮兵、步兵、骑兵、德文四所学堂，统称“行营武备学堂”。袁世凯高薪聘请德国军官担任教习，学期两年，学员毕业后可以担任下级军官。袁世凯从自己每月的俸禄中拨出三分之一(银二百两)作为奖学金，奖励考试成绩优异者。学业出众的人会被选派去德国或日本留学。此外，轰世凯还开办讲武堂和学兵营，培养基层军官。
新军的管理异常严格。袁世凯制定了一套严密的军法、军纪，如《简明军纪二十条)《行军暂行章程)《操场暂行章程》《兵丁驻扎营内章程)等，这些制度涉及新军的训练、行军、宿营等各方面。士兵必须严格遵守制度，一旦违纪，就会受到打军棍、示众、扣发饷银等惩罚。袁世凯还制定了“斩律十八条”——“结盟立会，造谣惑众”者斩；“有意违抗军令”者斩；“持械斗殴及聚众哄闹”者斩；“遇差逃亡，临阵诈病”者斩；凌辱长官者斩；长官战死而士兵无伤亡，士兵全部处斩……袁世凯在小站附近设立关卡，抓捕逃兵，抓回的逃兵会被重罚，常常会被公开处斩，逃兵一月无下落就追究家属的连带责任。
新军的军饷较高，由户部直接发放。为了避免各级军官克扣士兵饷银的恶劣旧习，袁世凯规定，军官一律不得插手军饷的发放，而是由放饷局把每月的饷银包好，按照兵士名册发放。士兵本人直接领饷银，袁世凯派一至二名军官负责监督发饷。
1897年，22岁的直隶人徐世昌来到小站，他看到的是一支军容严整、队列整齐、令出必行的军队；统帅袁世凯和普通土兵一样站在操练场上，一身戎装，声音洪亮，看上去精神抖擞。这位年轻的翰林院庶吉士被袁世凯任命为新军参谋营务处总办，成为袁世凯的幕僚。自此开启了他与袁世凯长达数十载的合作。两人互为同道，在晚清民初的政治舞台上留下了重重的一笔。
袁世凯很重视将领的培养和选拔，他物色的将领，一部分是湘军和淮军的宿将，如姜桂题、张勋等；一部分是武备学堂的毕业生，如号称“龙、虎、狗”的“北洋三杰”王士珍、段祺瑞、冯国璋。段棋瑞曾赴德国学习军事，冯国璋也去过日本。这些出身并不显赫的军人们，从小站这个起点出发，逐步成为民国政治舞台上呼风唤雨的人物。其中，担任督军以上职务者30多人，担任内阁总理、陆军部总长的6人，担任总统的4人。
1898年，清廷命荣禄督练武卫军，分前、后、左、右、中五军，袁世凯所练的新军被收编为武卫右军。翌年十二月初，清廷派袁世凯暑理山东巡抚，武卫右军随袁世凯从小站调往山东。庚子年(1900年)，武卫军被八国联军打得七零八落，聂士成所统率的武卫左军竟全军覆没，聂士成战死。唯独武卫右军因袁世凯镇压义和拳民、支持东南互保而得以保存。此后，袁世凯在武卫右军的基础上，编练北洋常备军、续备军、巡警等。
1901年11月，李鸿章逝世。清廷任命袁世凯为直隶总督兼北洋大臣。这—年，朝廷决定彻底淘汰绿营兵制，重新编练三十六镇新军(镇的编制大致相当于今天的师)。第二年6月，在保定成立北洋军政司(后改称督练公所)，袁世凯任督办。1903年12月，朝廷成立练兵处，军机处领班大臣奕劻为总理练兵大臣；袁世凯任会办，握有实权，他以新军的老部下为班底，在北京、天津、山东建成北洋六镇军，合计7万余人。北洋军各镇将领几乎都出自小站，以袁世凯为首的北洋军阀集团由此形成。当时，全国各镇新军总计13万余人，北洋军在人数和战斗力上都远胜于其他新军，是绝对主力。
1905年秋末冬初时节，北洋新军在河北河间举行军事演习——“河间秋操”。清廷邀请各国驻华武官、中外记者和各省代表前来观操。出现在众人眼前的是一支军容严整、装备精良、士气高昂的部队，而且，所
有的土兵都剪去了中国男人独有的长辫子。自甲午战败后，清帝国终于拥有了一支像样的军队，这为坐在观操台上的帝国统治者们树立了信心。
第二年，清廷决定扩大演习规模，调遣张之洞所练的湖北新军北上，与北洋新军在河南彰德展开一场模拟搏杀，参与演习的官兵多达33000多入。谁也不曾想到，五年后的辛亥年，两军就在武昌城外展开了真正的残酷厮杀。
