?相比其他军种的特种部队，陆军特种部队的历史更为悠久，代表了现代美国特种部队的起源之一。“绿色贝雷帽”的历史可以追溯其前身，二战时期美国与加拿大的混编部队——第一特殊任务部队（1st Special Service Force），当时该部绰号“恶魔旅”（The Devil's Brigade）。在该部队于1944年12月解散之前，其一直受战略情报局（OSS）指挥，在意大利和法国活动。在朝鲜战争期间，美军建立了一支联合国驻朝鲜游击战部队（UNPFK，United Nations Partisan Forces Korea），成员来自美国陆军第8军和韩国陆军的情报部队，主要任务是渗透至朝鲜控制的半岛北部地区进行敌后破坏，并进行情报搜集和战俘解救工作。UNPFK当然是个掩护名称，在内部它被称为第8086陆军部队（8086th Army Unit）。后来，美军仍觉得名字太过显眼，又为其换了个名字，叫驻朝鲜远东司令部联络分队（Far East Command Liaison Detachment Korea），内部代号为第8240部队（8240th Army Unit）。
▲“绿色贝雷帽”的部队识别标志，拉丁“文DE OPPRESSO LIBER”是陆军特种部队的格言，意思为“解放受压迫的人”
为了应对朝鲜战场的特种作战需求，第一支“绿色贝雷帽”部队——陆军第10特种大队（10th Special Forces Group）在1952年6月建立起来，不过就在其形成战斗力准备部署之际，朝鲜战争的交战方宣告停战了。第10大队最终被派往了欧洲，部署在西德。美国陆军随后又建立了数只特种大队，不过越南战争后裁掉了负责中东方向的第6大队和负责南美地区的第8大队，20世纪90年代又裁掉了第11、第12大队。当时，陆军特种部队现役有第1、第3、第5、第7和第10这五个大队，还有第19和第20两个国民警卫队。
游骑兵部队虽然历史悠久，但也经历了分分合合。其前身有著名的麦瑞儿突击队以及游骑兵营。绰号“麦瑞尔突击队”（Merrill’s Marauders）的第5307混成部队（5307th Composite Unit）是为了配合缅甸正面战场上的反攻战役而建立的，他们和中国远征军配合密切，在日军后方不断实施破坏行动。1944年8月，麦瑞尔突击队被编入第475步兵团，1954年第475步兵团改组为第75步兵团。二战时期，一共出现了6支游骑兵营，他们在北非、欧洲和太平洋战场上浴血奋战，充当着精锐步兵的角色。二战结束后，第4、第5、第6游骑兵营被解散。朝鲜战争前夕，剩余的游骑兵营被改为步兵营，编制内只保留一个游骑兵连，用来执行长距离侦察巡逻任务，1954年该游骑兵连也被编入到改组后的第75步兵团中。越南战争期间，由于频繁地执行长距离侦察巡逻任务（Long Range Reconnaissance Patrol），游骑兵连得到了扩充。
▲游骑兵的部队识别标志，沿用了麦瑞尔突击队的标志
1974年，美国陆军开始恢复游骑兵营，当时它的定位是精锐的轻步兵部队。随后，第1、第2、第3游骑兵营陆续被重建起来。1986年，第75游骑兵团（75th Ranger Regiment）建立，正式取代原来的第75步兵团。特种作战司令部成立以后，第75游骑兵团也成了特种作战部队之一，作为步兵部队和特种部队之间的润滑剂。反恐战争开始后，游骑兵开始大量执行特种作战任务，在任务期间他们暴露出情报侦察和保障能力的短板，这促使第75游骑兵团从2006年开始，在体制编制上做出重大改革，同时又建立了新的团属特别部队营（Regimental Special Troops Battalion）负责侦察与支援保障。
如今，陆军特种作战司令部下面包括：
一个少将领导的第一陆军特种部队司令部，它旗下包括7支陆军特种大队（“绿色贝雷帽”）、第4和第8军事情报支援作战大队（4th and 8th Military Information Support Operations Groups）、第95民事旅（95th CivilAffairs Brigade）；
第75游骑兵团；
一个少将领导的肯尼迪特种作战中心学校（John F. Kennedy Special WarfaeCenter and School）；
一个准将领导的特种作战航空司令部（United States ArmySpecial Operations AviationCommand），其下有第160特种作战航空团（160th Special OperationsAviation Regiment）、特种作战航空训练营（Special OperationsAviation TrainingBattalion）、系统一体化管理办公室（System IntegrationManagement Office）和拥有固定翼飞机的司令部部属飞行连（USASOC Flight Company）。
▲美国陆军特种作战司令部的标志，拉丁文“Sine Pari”的意思是“无与伦比”
美国海军特种部队的雏形，可以追溯到二战时期从事两栖侦察的观察大队（Observer Group）。该部队比众所周知的海豹突击队（Navy SEALs）前身——水下爆破队（Underwater Demolition Teams）出现的时间稍早。观察大队实际是由当时的海军水兵和陆战队队员混编的两栖侦察部队，曾在太平洋战场上于夺岛战役打响前实施两栖侦察。1962年，随着水下爆破队改编为海豹突击队，美国海军特种部队的建设终于走向正轨。
现在，海军特种作战司令部包括：
特种作战中心；
特战一大队：下辖海豹1、3、5、7队，后勤和支援一组，移动通信组，特战1、3组，训练分队；
特战二大队：下辖海豹2、4、8、10队，后勤和支援二组，移动通信组，特战2、4、10组，训练分队；
特战三大队：下辖后勤和支援三组，训练分队；
特战四大队：下辖特别舟艇12、20、22队，海军小型艇指导技术和训练学校；
特战十大队：下辖特种侦察1、2队，特战任务支援中心；
特战十一大队：下辖海豹17、18队（均为预备役）；
特战研究大队。
▲海军特种作战司令部的标志
美国空军特种作战司令部在第23空中部队的基础上建立，发展至今已有第1、第24、第27、第193、第352、第919特种作战联队，第353特种作战大队，特种作战空战中心。它拥有多型飞机和专业兵种支援其他军种特种部队作战，而专业兵种通常混编在其他军种部队中协同作战，例如战斗管制员（Combat Controllers）、战术航空引导员（Tactical Air Control Party）、特种作战气象技术员（Special Operations Weather Technicians）、伞降搜救员（Pararescuemen）。
▲空军特种作战司令部的标志
美国海军陆战队特种作战司令部虽然成立于反恐战争打响之后，但如今发展迅速。2015年，他们重拾二战荣誉，恢复了其前身“陆战队突袭者”（Marine Raiders）的称号。海军陆战队特种作战司令目前包括第1、第2、第3特种突袭团（Marine Raider Regiment），第1、第2、第3特种突袭支援大队（Marine Raider Support Group），陆战队特种作战学校（Marine Special Operations School）。
▲海军陆战队特种作战司令部的标志
