明朝建立后，明太祖朱元璋效仿宋元的枢密院制度，并在中央设大都督府作为最高军事机构。
明洪武十三年（１３８０年），朱元璋以“图谋不轨”罪诛左丞相胡惟庸，并下令废除在中国历史上沿袭一千五百多年的宰相制度。朱元璋命令六部直接由皇帝领导，皇帝总揽朝纲，兼并相权，事皆亲决。
与此同时，他又把大都督府分为左、右、前、后、中五军都督府，每府设左右都督和都督同知各一人，都督佥事若干人。
在这一期间，受诏令掌管过大都督府的只有两人，一为朱文正，是朱元璋长兄之子；二为李文忠，是朱元璋长姐之子，又是其养子。当时朱元璋诸子都还没有长成，无法效唐高祖李渊以亲子领兵。此二人，可说是与朱元璋血缘关系最亲近者，却均因“忤旨”获罪，朱文正更是因“胸怀怨望＂被鞭杀。尽管因何“怨望”不得而知，但无非就是军事领导权的争夺之类。
至于五军都督府的职能和权力，据《明史 职官志》载：“都督府掌军旅之事，各领其都司、卫所，详见《兵志 卫所》中以达于兵部。……有大征讨，则挂诸号将军或大将军、前将军、副将军印总兵出，既事，纳之。其各府之掌印及佥书，率皆公、侯、伯。间有属老将之实为都督者，不能十一也。”
五军都督府继承大都督府的最高军事统兵权，掌管除锦衣卫等中央禁卫军外的所有卫所，但没有调兵的权利。调兵则由皇帝通过兵部发布号令。
总的来说，五军都督府的基本职责主要有四项：卫所将领的选拔、更替，卫所军的训练，军户屯田的管理和军事情报的掌控。
五军都督府及其所辖各卫所，其实已经变成对庞大的卫所系统管理的中央最高管理机构，兼具军事组织管理与行政管理。
不过，各都督府却互不相属，仅与兵部联系。五军都督府与兵部分掌兵权。“兵部有出兵之令，而无统兵之权；五军有统兵之权，而无出兵之令。”（《春明梦余录?兵部》）两个机构互相牵制，便于皇帝集权。至明中后期，兵部尚书或侍郎有时可直接掌握京营训练，五军都督府成了摆设。
兵部根据皇帝旨意出军令，尚书掌控天下武卫官军选授、简练的政令，所属四清吏司，武选司掌卫所、土官选授、升调、袭替、功赏；职方司掌舆图、军制、城隍、镇戍、简练、征讨；车驾司掌卤簿、仪仗、禁卫、驿传、厩牧；武库司掌戎器、符勘、尺籍、武学、薪隶。
但是，军令的发布、军队的调遣，高级将领的任命，都得先经过廷议，请旨后才颁布。
兵部尚书侍郎仅在受命为“协理京营戎政”、“提督团营”或“提督军务”时，才能参与统兵。而用的调兵的令符火牌等，平时都掌握在内府御马监手中。
明朝的地方军事长官，刚开始是都指挥使。一旦发生战事，则由中央派都督府官或公、侯、伯为总兵官征讨，战事结束后就回到原来的职位。
后来，因边疆多事，原临时派出的总兵官留下镇守，成为固定官员。内地的军事要地也设总兵官镇守，都指挥就是总兵官的部下。
明朝军事领导的基本原则是兵权分割，以文制臣，以内制外，文武、内外相互制约，完全避免了军权旁落。
不过，这也严重影响到军队的机动性和战斗力，在对外防御战争中，每每处于被动地位。
最典型的，就是与蒙古瓦剌土木堡之战，明英宗听从太监王振的可笑决策，结果导致明朝几十万大军溃不成军，明英宗自己也被敌军俘虏。
可见，军事体制的落后与僵化，往往会有灭国的危险。
