Bei den I. Olympischen Spielen 1896 in Athen gewann er den Wettwerb Gewichtheben mit beiden Armen und wurde der dänische Olympiasieger der Geschichte. Dabei wurde Jensen gleicher Leistung wie sein britischer Rivale Launceston Elliott zum Olympiasieger erklärt Jensen einen "besseren" Stil hatte. Elliott hatte Schritt nach vorne gemacht.
Im Wettbewerb mit einem Arm errang den 2. Platz hinter Elliott.
Eine weitere Medaille holte er in Schießwettbewerben : einen 3. Platz im Schießen mit Freien Gewehr über 300m.
In den Leichtathletikwettbewerben Kugelstoßen belegte er den fünften Platz. weiteren nahm er beim Diskuswerfen teil.
Vier Jahre später bei den Olympischen Spielen in Paris konnte er nicht mehr an diese anknüpfen. Die beste Platzierung erreichte er mit dänischen Mannschaft im Schießen mit dem Großkalibergewehr 300 m. Hinter der Schweiz Norwegen und belegte sie den vierten Platz.