Als Sohn von Albrecht II. gehörte er der dritten Generation von Habsburger -Herzögen in Österreich an. Er war somit erste Herzog der im Land selbst geboren und es als seine engere Heimat betrachtete zu seiner Popularität ziemlich beitrug. Er gilt einer der energischsten und engagiertesten Herrscher Österreichs Spätmittelalter es heißt er soll schon als Mann wie ein König aufgetreten sein.
Er war verheiratet mit Katharina von Böhmen was ihn zu einem Schwiegersohn Karls IV. machte. Die Konkurrenz zu seinem Schwiegervater Prag zu einem glänzenden Kulturzentrum ausbaute war nicht unwesentliches Motiv in seinem Denken und
So wie Karl die Bedeutung Prags er die Bedeutung Wiens heben was in vielen seiner Urkunden betont wird.
Eines sprang dabei ins Auge und schon alle österreichischen Herzöge seit mehr als Jahren beschäftigt: Wien war kein Bischofssitz. Zuständig immer noch der Bischof von Passau ein Zustand der für eine herzogliche als misslich empfunden wurde. Da die Passauer aber bessere Beziehungen zum Papst hatten drang mit dem Projekt ein eigenes Bistum in zu errichten nicht durch. Stattdessen griff er einer Art Hochstapelei: er veranlasste in St. Stephan die Gründung eines Metropolitankapitels (was dem Namen nach einem Erzbischof sein müsste) dessen Mitglieder rot gekleidet waren Kardinäle). Der Propst dieses Domkapitels erhielt den Titel Erzkanzler von Österreich .
Kein Bluff war allerdings der Ausbau Kirche zu St. Stephan deren hoch gotisches Langhaus unter ihm begonnen wurde. Dies nicht zuletzt auch als Konkurrenz zum Prager
Ebenfalls in Konkurrenz zur Karls-Universität in Prag war die Gründung der Universität Wien gedacht die heute noch Alma Mater Rudolphina heißt. Sie ist die älteste deutschsprachige Universität . Die Gründung erfolgte 1365 aber erst 1385 (also nach Rudolfs Tod) konnte eine Fakultät gegründet werden was in den Augen Zeit erst eine vollständige Universität ausmachte.
Viele andere Maßnahmen dienten dazu die der Stadt zu heben etwa die Aufsichtspflicht Bürgermeisters über alle Grundstückskäufe um einen zu Anteil der "Toten Hand" (des wirtschaftlich unproduktiven zu verhindern. Auch gelang es ihm mit Wiener Pfennig eine relativ stabile Münzeinheit zu schaffen.
Am wohl bekanntesten ist ein weiterer die Fälschung des Privilegium Maius das ihn de facto den Kurfürsten stellte da Österreich in der Goldenen Bulle ausgegangen war. Der bei dieser Gelegenheit erfundene wurde ab dem 16. Jahrhundert zu einem Charakteristikum der Prinzen aus Haus Habsburg .
Trotz des hochfliegenden (und vielleicht ein größenwahnsinnigen) Charakters seiner Pläne hat er doch Länder und vor allem seine Residenzstadt modernisiert auch an Bedeutung bereichert. Sein früher Tod dem ein jähes Ende: seine Brüder Albrecht III. und Leopold III. die nach der Rudolfinischen Hausordnung gemeinsam hätten regieren sollen zerstritten sich bald heillos und teilten ihren Besitz 1379 .
An Bedeutung für die Kunstgeschichte kaum zu überschätzen ist sein Porträt das erste (Halb-)Frontalporträt des Abendlandes. Es einige Jahrzehnte über seinem Grab im Stephansdom aufgehängt und ist jetzt im Erzbischöflichen Dom- und Diözesanmuseum zu sehen. Abgesehen von der (erfundenen) deren perspektivische Darstellung der Künstler noch nicht im Griff hatte ist es ein völlig Porträt. Sogar die beginnende Gesichtslähmung des Herzogs dargestellt.