十九世纪50年代至60年代的“太平天国运动”让清朝遭遇到了空前的危机，但同时也让清朝军队完成了一次近代化改革。
在“太平天国运动”之前，清军主要只有两种编制，即八旗军和绿营军。不过，从清朝中期开始，八旗军、绿营军都已严重腐化，部队战斗力低下，军纪散漫。在“太平天国运动”爆发之初，几万名从未受过正规训练的太平军竟然可以横扫清朝的半壁江山，而清军则是屡战屡败。
在此背景之下，曾国藩的湘军、李鸿章的淮军开始走上了历史舞台，成为镇压太平天国的主力。到了“太平天国运动”后期，清政府还拥有了一支特殊部队——常胜军。
常胜军隶属于清朝政府，但其队伍成员构成却很奇怪。常胜军的领导人不是中国人，而是美国人华尔（1862年加入中国国籍）。常胜军的成员可谓是一支多国联军，军事主官以西方人为主，士兵由菲律宾雇佣军为骨干，再招募了数千名中国人。部队人数最多时达到了5000人。
常胜军完全依照西方的军事制度和训练方法，部队全配备了近代西方武器，在装备方面远胜过同一时期的清军和太平军。
常胜军的前身叫洋枪队，组建于1860年。起初只是以雇佣军的形式为清廷“打工”。后来，队伍指挥官华尔加入了中国国籍，并被任命为副将（从二品），洋枪队也正式接受清廷改编，更名为常胜军。
常胜军的战斗力一流，在苏南、浙北一带对抗太平军的战场上发挥出了重要作用，尤其是在保卫上海的战斗中，居功至伟。虽然常胜军没有做到百战百胜，但在人数相差不是特别大的情况下，几乎都是轻松碾压对手，因此“常胜”之名也算是名副其实。
1862年9月，华尔在浙江慈溪与太平军的战斗中身受重伤去世，常胜军的指挥官改由美国人白齐文担任。和华尔一心一意效忠清朝不同的是，白齐文性格张扬跋扈，而且是个两面派。他在担任常胜军指挥后不久就纵兵抢劫了清军的四万两饷银，他也因此遭到了时任江苏巡抚李鸿章的弹劾，被朝廷撤去了指挥之职。
白齐文被解职后，常胜军改由英国皇家工兵少校戈登担任指挥。由于当时英国已放弃中立立场，明确表示支持清朝，所以戈登收到了伦敦发来的指令，要求他无条件接受清朝政府的指挥。因此在随后的军事行动中，戈登指挥下的常胜军作战英勇，并接连取得重大胜利。
1864年5月，清朝对太平天国的军事行动已胜利在望，戈登主动请求解散常胜军。早有此意的李鸿章很高兴地接受了戈登的请求。5月31日，常胜军在昆山解散，全体外籍军官辞去了在清军中的职务，常胜军中的部分精锐部队和大部分武器装备编入到了李鸿章的淮军中。
为了纪念常胜军在镇压太平天国中所发挥的巨大作用，李鸿章下令拨款1500两白银在上海建立了常胜军纪念碑（图4），上面镌刻有48名阵亡的外籍常胜军官兵姓名，常胜军的第一任指挥官华尔列居首位。
