Nach seinem 1898 abgeschlossenen Chemiestudium arbeitete mehrere Jahre in Sankt Petersburg . 1902 ging er nach Leipzig um bei Wilhelm Ostwald Fotochemie zu studieren. Nach seiner Rückkehr widmete er sich ersten astronomischen Studien die an der Universität und der Urania-Sternwarte in Kopenhagen betrieb. 1909 lernte Hertzsprung Karl Schwarzschild kennen der ihm in Göttingen eine Professur vermittelte und dem er nach Potsdam folgte. 1919 ging Hertzsprung an die Leiden (Niederlande) 1935 bis 1944 hatte er Leitung der Sternwarte inne.
Hertzsprung hat durch seine Forschungsarbeit wichtige zur Entwicklung der modernen Astrophysik geleistet. Bereits definierte er mit der absoluten Helligkeit ein Maß für die Leuchtkraft eines Sterns . Außerdem entdeckte er dass bei Sternen Oberflächentemperatur Riesensterne und Zwergsterne auftreten können womit er ein Klassifizierungsmerkmal 1909 arbeitete Hertzsprung an Oberflächentemperatur-Leuchtkraft-Beziehungen. Um die zu lösen ob es kalte und heiße Sterne gibt entwickelte er ein Temperatur-Leuchtkraft-Diagramm. 1911 Hertzsprung geringe Helligkeitsschwankungen des Polarsterns womit er ihn den Delta- Cepheiden (Sterne mit periodischem Wechsel der Helligkeiten) konnte. 1913 gelang ihm die Entfernungsbestimmung der Magellanschen Wolke anhand der Perioden-Leuchtkraft-Beziehung von Henrietta Leavitt. Ebenfalls 1913 erfuhr sein Temperatur-Leuchtkraft-Diagramm durch Norris Russell eine Überarbeitung und angemessene Publikation Hertzsprung-Russell-Diagramm HRD). 1915 widmete sich Hertzsprung den Doppelsternen zu deren Beobachtung er ein fotografisches entwickelte. Außerdem fand er eine Beziehung zwischen Masse und Leuchtkraft die er 1919 in Form für die Hauptreihensterne des HRD formulierte.