大司马一职两汉都有，其位高权重，对汉代的政治产生重大影响。
秦灭亡后，汉朝建立。汉袭秦制，继承秦代的三公九卿之制。刘邦起事，最终得天下，靠的是一班与他一起出生入死的功臣，因此汉朝建立之初，功臣的权力一般很大，许多人也敢于与皇帝面折廷争，丞相一职基本均由开国功臣担任。据《汉书》载：汉高帝元年（公元前206年），汉高祖以萧何为丞相，十一年更名相国，“相国、丞相，皆秦官，金印紫绶，掌丞天子助理万机”。
至于“大司马”一职，很多学者认为始于汉武帝时期，殊不知，高祖时期就已经出现了。据《史记?高祖功臣侯者年表》中就提及丁复曾任大司马：“（阳都侯丁复）以赵将从起邺，至霸上，为楼烦将，入汉，定三秦，别降翟王，属悼武王，杀龙且彭城，为大司马；破羽军叶，拜为将军，忠臣，侯七千八百户。”
不过，这一时期的“大司马”与武帝时期的“大司马”还是有很大区别的。
武帝即位以后，采纳董仲舒的“推明孔氏，抑黜百家”建议，独尊儒家学说，进行泰山封禅、改正朔、易服色等活动，神化皇权，君主中央集权进一步加快。
同时，针对丞相的权力过大这一问题，武帝也采取相应的措施。元朔五年（公元前124年），武帝一改之前以功臣子孙列侯任丞相的传统，任命平民出身的公孙弘为丞相，封平津侯。
原本无爵位的公孙弘，能得到武帝所赐的丞相与爵位，对武帝可谓言听计从，“每朝会议，开陈其端，令人主自择，不肯面折庭争”（《史记》），在公孙弘后相继的六任丞相，获罪自杀的两人，下狱处死的三人，皇权得以大大加强，而丞相的权力则被大大削弱。
可见，武帝之设大司马职官，只是用来“冠将军之号”，即加官之大司马。而高祖时期的“大司马”是高级将领之大司马，两者有着本质的区别。
自武帝后，尽管改太尉为大司马，其性质也仅是加官，空有名号，并无军政实权。
昭帝以后，内朝为中央枢机，掌中央机密决策，大司马作为内朝领袖，可领衔在内朝预闻政事，参议决策，即“辅政”，辅助皇帝行使君权，地位最高的辅政大臣。
为更好地体现辅政职能，大司马又常摄领尚书事，自宣帝至西汉末年，“凡受遗诏辅政者，皆领尚书事，成为故事”。
如霍光，担任大司马，却拥有废立之权，即使天子本人对其也是“虚己敛容，礼下之已甚”。据《汉书?霍光传》载：“党亲连体，根据于朝廷。光自后元秉持万机，及上即位，乃归政。上谦让不受，诸事皆先关白光，然后奏御天子。光每朝见，上虚己敛容，礼下之已甚。”
再如王莽，据《汉书》载：“秉政，百官总己以听。”又如东汉末李傕，将天子当成傀儡，玩弄于股掌之间。
当然，以上这些仅为特例，但也可看出“大司马”之职曾拥有的“特权”。
据不完全统计，西汉时期担任“大司马”之职者共计二十二人，其中王商与王莽就曾两次担任。兼有车骑将军之号者八人，兼卫将军之号者六人，兼大将军之号者四人，兼骠骑将军之号者三人。而王莽、师丹、傅喜三人仅为大司马而无将军之号。
至东汉时，汉光武帝又重新将大司马改为太尉，太尉的职权又日益加重，除军事顾问外，还综理军政，俨然手握军权政权的重臣。
