Rühmann wurde am 7. März 1902 Essen als Sohn von Hermann und Margarethe geboren. Seine Eltern lassen sich 1916 scheiden und Rühmann zieht mit seinen Schwestern und seiner Mutter nach München .
Nachdem Rühmann 1919 das Gymnasium mit der Mittleren Reife beginnt er Schauspielunterricht zu nehmen. Im Juni erhält er eine erste Nebenrolle am Theater Breslau. Von dort geht er 1921 / 22 ans Residenztheater Hannover wo er zusammen Theo Lingen spielt. Nach mehreren Engagements in Bremen München heiratet Rühmann am 9. August 1924 seine Kollegin Maria Herbot. Sein erster Das deutsche Mutterherz wird 1926 gedreht.
Nach weiteren Rollen beim Film wird 1927 auch im Theaterbereich bekannter und spielt Berlin an der Seite von Marlene Dietrich . 1930 gelingt ihm mit dem Film Die drei von der Tankstelle der Durchbruch als Filmschauspieler und er neben Hans Albers zum beliebtesten deutschen Schauspieler.
Nach der Machtübernahme durch die Nationalsozialisten versuchte sich Rühmann neutral zu verhalten sich mit dem Nazi-Regime zu arrangieren. Trotzdem er sich 1938 von seiner jüdischen Frau scheiden. Zum weil die Ehe zerrüttet war unter anderem auch damit seine Karriere als Schauspieler nicht wird. In den Kriegsjahren wird Rühmann zunehmend die Propaganda des Dritten Reichs einbezogen und z.B. als Quax der Bruchpilot in einer Komödie die die Bevölkerung Kriegsgeschehen ablenken soll. 1944 wird die Erstaufführung des Films Die Feuerzangenbowle von den Nationalsozialisten wegen "Respektlosigkeit gegen verboten. Nur durch gute Beziehungen zum Regime Rühmann die Aufführung des Films durchsetzen.
1945 wird Rühmann während der Entnazifizierung als nicht belastet eingestuft und das Spielverbot wird aufgehoben. 1947 gründet Rühmann die Filmgesellschaft "Comedia" die 1953 nach mehreren Misserfolgen bankrott geht. Trotzdem Rühmann im Film Keine Angst vor großen Tieren ein vielbeachtetes Comeback. 1956 spielt Rühmann in Zuckmayers Tragikkomödie Der Hauptmann von Köpenick den Schuster Wilhelm Voigt und wird 1957 mit dem Preis der deutschen Filmkritik 1966 erhält Rühmann das große Bundesverdienstkreuz.
Am 3. Oktober 1994 stirbt Rühmann in Aufkirchen am Starnberger See und wird einen Tag später eingeäschert. Urne wurde am 30. Oktober 1994 in Berg beigesetzt.
" Die Feuerzangenbowle " 1944 mit Karin Himboldt (Eva Knauer) Sessak (Marion) Erich Ponto (Professor Crey "Schnauz") Henckels (Professor Bömmel) Hans Leibelt (Direktor Knauer
"Quax in Afrika" 1945/53 Regie: Helmut Weiss Hermann Grote mit Bruni Löbel Beppo Brem
"Sag' die Wahrheit" 1946 mit Georg Thomalla von Almassy