Er war der älteste Sohn Leopolds I. aus seiner Ehe mit Eleonore von Pfalz-Neuburg dem er seit 1690 Römischer König 1705 auch als Kaiser nachfolgte. Er war mit Amalia Wilhelmine von Braunschweig-Lüneburg und hatte zwei Töchter: Maria Josepha Maria Amalie.
Seine gesamte Regierungszeit war ausgefüllt mit Spanischen Erbfolgekrieg bei dem die österreichischen Armeen mit Hilfe ihrer englischen und Verbündeten nicht zuletzt unter der tatkräftigen Leitung Prinzen Eugen durchaus beachtliche Erfolge erzielen konnten (Siege Oudenaarde 1708 und Malplaquet 1709 ).
Sein plötzlicher Tod ohne einen männlichen zu hinterlassen machte jedoch die Hoffnungen der Habsburger schlagartig zunichte: Sein jüngerer Bruder Karl in Spanien als Karl III. zum König designiert wurde nun Kaiser sowohl die spanischen als auch die österreichischen unter seine Herrschaft gebracht hätte. Dies ließ Allianz zerfallen und führte zu einer Einigung Seemächte mit Frankreich .