在二次大战期间，德国海军的规模相对较小，特别是巡洋舰以上的大中型水面舰艇数量有限，因此在舰队编队上几乎没有组建过大型作战编队。其大型军舰大多以单舰或双舰编队形式独自执行作战任务，由海军总司令部直接指挥。而驱逐舰以下的小型舰艇和潜艇以支队为基本行政和作战单位。
▲以双舰编队形式准备参加莱茵演习的俾斯麦（如图）和欧根亲王（拍摄方）
德国海军的最高指挥机关是位于柏林的海军总司令部。在二战爆发之前，德国海军沿袭魏玛共和国的海军体制，设立了北海军区和波罗的海军区，分别负责北海和波罗的海方向的海上防务。作战舰艇大多归舰队司令部管辖，在该司令部之下又按照舰种设立了多个司令部，管理相对应的作战舰船。
二战前，德国设立的有装甲舰司令部、侦察舰司令部、鱼雷艇司令部、扫雷舰司令部和潜艇司令部，二战期间又增设立驱逐舰司令部、鱼雷快艇司令部和补给舰司令部，此外还设有负责管理海岸炮兵、海军保安部队和特种武器的司令部。
在1939年9月二战爆发时，装甲舰司令部下辖沙恩霍斯特级战列舰两艘、德意志级装甲舰三艘和希佩尔级重型巡洋舰1艘；侦察舰司令部下辖6艘轻型巡洋舰，此外还有4个驱逐舰支队，其中每个支队下辖5-6艘驱逐舰或鱼雷艇；潜艇司令部则编有7个潜艇支队和1个训练支队，每个支队下辖6-12艘潜艇。
▲1939年9月德国海军舰队编成示意图
在战时状态下，德国海军根据作战海域划分建立了新的海军战区司令部。随着战争的不断扩大，德国海军在各个战略方向又设立了多个战区司令部，例如海军北方集群总司令部等。在作战时舰艇并没有固定的作战编组，而是根据任务需要临时编成特遣舰队、海上战斗群等。
