Von 1976 bis 1982 studierte Weber in Konstanz Wirtschaftswissenschaften und Verwaltungswissenschaften und schloss sein mit einem Diplom in Volkswirtschaftslehre im gleichen Jahr ab. Er ging für sechs Jahre an die Universität Siegen promovierte in dieser Zeit zum Dr. rer. Nach der Habilitation 1994 nahm er einen für Wirtschaftstheorie an der Universität Bonn an wo er 1998 an die Universität Frankfurt Main wechselte. Seit November 2001 hat er Lehrstuhl an der Universität Köln.
Weber ist außerdem Direktor des Center Financial Studies in Frankfurt/ Main; seit Oktober ist er Mitglied im wissenschaftlichen Beirat der Bundesbank.
Am 20. April 2004 wurde der parteilose Weber von Bundesfinanzminister Hans Eichel als neuer Präsident der Deutschen Bundesbank nominiert um die Nachfolge des zurückgetretenen Ernst Welteke anzutreten. Die Nominierung fand in der ein positives Echo. Sowohl Wirtschaftsvertreter als auch begrüßten den Vorschlag der Bundesregierung.
Weber wurde am 30. April 2004 zum Bundesbankpräsidenten ernannt.