Rommel wurde 1928 in Stuttgart als des späteren Generalfeldmarschalls Erwin Rommel geboren. Er machte sein Abitur 1947 in Biberach an der Riß und studierte anschließend in Tübingen Rechts- und Staatswissenschaften. 1956 erhielt er erste Anstellung in der Landesverwaltung wurde dort Regierungsrat und dann persönlicher Referent des damaligen Hans Filbinger . 1971 wechselte er in das Finanzministerium Ministerialdirektor später dann Staatssekretär bevor er 1974 zum Oberbürgermeister gewählt wurde.
Der CDU -Politiker ist seit 1996 Ehrenbürger von Stuttgart. Auch im Ruhestand ist noch immer ein beliebter Redner und gefragter