Heinrich war der älteste Sohn von Heinrich III. und dessen zweiter Frau Agnes von Poitou und wurde in Goslar geboren. Seine Taufe wurde bis zum Osterfest verzögert so dass Abt Hugo von Cluny einer seiner Paten werden konnte. Aber schon bei seiner Geburt beschwor Heinrich III. die anwesenden Fürsten seinem Sohn treu ergeben zu sein. Jahre später war er immer noch unsicher die Thronfolge seines Sohnes deshalb ließ er vor einer größeren Versammlung von Adligen in zu seinem Nachfolger wählen. Am 17. Juni 1054 wurde dieser dann sogar durch den Erzbischof Hermann II. von Köln in Aachen zum König gekrönt. Als III. 1056 unerwartet starb wurde der Thronfolge des Jahre alten Heinrich IV. nicht widersprochen. Die Agnes führte an seiner Statt die Regierungsgeschäfte dazu aber nicht fähig genug. Eine Verschwörung Fürsten unter der Führung von Anno II. Erzbischof von Köln brachte den jungen König 1062 in Kaiserswerth in deren Gewalt. Anno regierte als Reichsverweser musste aber ab 1063 dieses Amt mit Adalbert I. Erzbischof Hamburg-Bremen teilen. Adalbert bekam immer mehr Einfluss Heinrich und verdrängte Anno immer mehr aus Amt. Am 29. März 1065 wurde Heinrich für volljährig erklärt und Januar des folgenden Jahres wurde Adalbert auf Reichstag in Tribun von den deutschen Fürsten der Führung von Anno II. und Siegfried Mainz vom Hof verwiesen. Anno gewann aber Einfluss mehr auf den König zurück. 1066 heiratete Heinrich Bertha von Turin. Heinrichs war geprägt von der Festigung der Macht Königs. In Wirklichkeit war dies aber ein Balanceakt zwischen der Loyalität der Adligen und Unterstützung durch den Papst. Er gefährdete beides er 1075 als Lehnsherr des Mailänder Bischofs das vakante Bistum neu vergab. Daraus ergab sich ein Konflikt - der Investiturstreit - mit Papst Gregor VII. welcher Heinrich am 22. Februar 1076 exkommunizierte und für abgesetzt erklärte. Heinrich hatte Papst der aus seiner Sicht unrechtmäßig an Macht gekommen war da der deutsche König Mitspracherecht bei der Papstwahl hatte vorher ebenfalls für abgesetzt erklärt.
Während der Papst zunächst abwartete wurchs Macht Heinrichs wieder an und so erklärte der Papst schließlich für Rudolph setzte Heinrich ab und entband dessen Lehensleute vom Treueeid. 1080 starb Rudolph bei einem Gefecht und 25. Juni desselben Jahres setzte Heinrich wieder den ab; am selben Tag wurde Wilbert von zum Gegenpapst gewählt. 1083 konnte Heinrich Rom erstürmen und zog im März 1084 in die Stadt ein. Am 24. März wurde dann Wilbert als Klemens III. Heinrich eine Woche später von Klemens zum gekrönt. Gregor hoffte auf das Einschreiten der Normannen die unter Herzog Robert Guiskard mit der Sarazenen nach Rom zogen. Heinrichs Heer war geschwächt und stellte sich den Angreifern nicht darauf die Stadt anzündeten und mit Gregor nach Süden zogen.
Das weitere Leben Heinrichs war stark Streitigkeiten mit seinen beiden Söhnen aus erster geprägt. Der Erstgeborene Konrad starb kurz nach Krönung zum König sein anderer Sohn Heinrich drängte ihn 1105 zur Abdankung und wurde als Heinrich dessen Nachfolger. Eine Tochter Agnes von Franken später den hohenstaufischen Kaiser Friedrich Barbarossa . Heinrich war ein zweites mal mit (Praxedis) von Kiew verheiratet ( 1089 - 93 ) der Tochter des Großfürsten Wsewolod I. Kiew .