Er nimmt 1939 bei Beginn des 2. Weltkriegs als Divisionskommandeur am Überfall auf Polen teil und wird anschließend mit dem Ritterkreuz ausgezeichnet. Am 15. Februar 1940 erfolgt seine Beförderung zum General der Infanterie. Ihm wird die Leitung Allgemeinen Heeresamtes im Oberkommando der Heeresleitung übertragen. 1943 wird er zusätzlich Leiter des Wehrersatzamtes Oberkommando der Wehrmacht .
Er beteiligt sich in Verbindung mit Widerstandskreisen um Ludwig Beck Carl Friedrich Goerdeler und Henning von Tresckow an den Planungen zum Attentat auf Hitler. 1943 forderte er Claus Graf Schenk von Stauffenberg den späteren Attentäter des 20. Juli 1944 für sein Amt an. Am Tage Umsturzversuches löste er mit Albrecht Ritter Mertz Quirnheim den für den Fall innerer Unruhen "Walküre"-Plan zur Mobilmachung des Ersatzheeres aus. Nach dem Scheitern in der Nacht vom 20. auf den Juli 1944 auf Veranlassung von Generaloberst Ludwig Fromm im Hof des Bendlerblocks Berlin gemeinsam mit von Quirnheim von Stauffenberg Werner von Haeften standrechtlich erschossen.