汉袭秦制，设立三公，太尉乃三公之掌管军权者。一般认为，太尉之职源于先秦诸国的“尉”。
对于“太尉”之义，第一，《史稿》曰：“尉字从寸，《说文》云：‘有法度者也，从寸，”……秦汉‘掌刑辟’的廷尉是符合尉字本来意卫思的，是司法官。”并引东汉末年著名学者应劭“廷尉”注所说“兵狱同制”之证，认为“尉”职起源于司法官。
第二，应劭曰“自上安下曰尉”；杜予谓“讨奸为官”；张晏曰“有卒徒武事，故曰尉”。
但是，又有一些史书记载秦朝设置了“太尉”一职。如《汉书?百官公卿表》载：“太尉，秦官。金印紫绶，掌武事。”郑玄注《礼记?月令篇》时说：“三王之官有司马，无太尉。秦官则有太尉。”《汉官序》说：“汉承秦曰太尉”。
但是，成书于西汉的《尚书?中侯》则曰“舜为太尉”，因此西晋束晳认为“太尉非秦官”。
实际上，秦朝的确没有“太尉”一词，但却有与之相对应的职位---“邦尉”。《史记?白起列传》载，昭王十四年“起迁为国尉”，《正义》曰：“言太尉。”《史记?秦始皇本纪》七年，以缭“为秦国尉”，《庄义》曰：“若汉太尉，大将军之比也。”
需要说明一下，这里的“国尉”是汉人为了避刘邦的讳，才改秦代的“邦尉”为“国尉”的，所以“国尉”就是“邦尉”。
虽然《正义》对邦尉（国尉）的解释存在不同看法，但也能够说明认为，秦邦尉（国尉）就是汉太尉的观点。
至于“邦尉”的职能，按《汉书?百官公卿表》载：“太尉，秦官。金印紫绶，掌武事”，但并没有说是最高军事长官。但至少应该是带兵打仗的，从秦时与尉有关的职务，如邦尉、都尉、郡尉、县尉、中尉、卫尉等看，基本都与军事或治安有关，《说文解字》也云：“自上安下曰尉”。
到汉代，太尉位列三公，为最高军事长官。对于太尉的职权，按《汉书?百官公卿表》曰：“掌武事”。《汉官仪》则云“司马主兵”。
至于“掌武事”、“主兵”，其实在西汉时也仅是皇帝的军事顾问，太尉本身并没有发兵、领兵之权，军令行使的权力全部被皇帝掌控。假若无皇帝符节，尽管官列太尉，也不得领兵、发兵。
汉武帝继位后，为加强对军队的控制，不再像过去那样封军功卓著的武将担任太尉，而是任命贵戚担任此职。此后太尉便只是个虚职，并无实权。后来汉武帝干脆废太尉一职，以大司马代之。其有实权者，则为中朝的大将军领尚书事。
到东汉，光武帝又将大司马改为太尉。司徒、司空、太尉成为新的三公，太尉又重新成为全国军事统领，并参与政事，权位极重。
东汉末，曹操自任丞相，废三公。此后魏晋南北朝期间，太尉与大司马均或置或废，比较随意。
隋朝后，太尉与大司马都成为一种加赠的虚衔，宋代时太尉还一度成为对于高级武官的泛称。元代后，太尉与大司马都不再设置，此外大司马经常被当做兵部尚书的别称。
