Er arbeitete dann als Leiter des des Friedrich-Naumann-Stiftung in Hannover . Zugleich war er bis 1978 zunächst persönlicher Referent und zuletzt Leiter Ministerbüros des Hessischen Staatsministers des Innern.
Gerhardt ist Mitglied der FDP. Seit 1982 ist er Landesvorsitzender der FDP in Hessen und Mitglied im FDP-Bundesvorstand. 1985 wurde er zunächst Stellvertretender Vorsitzender 1995 dann als Nachfolger des damaligen Außenministers Klaus Kinkel Bundesvorsitzender der FDP. Dieses Amt behielt bis zum Mai 2001 als er nach großer innerparteilicher Kritik seiner Führungskompetenz das Amt den bisherigen FDP-Generalsekretär Guido Westerwelle abgeben musste.
Er war mehrfach Mitglied des Hessischen Landtages (1978 bis 1982 1983 bis 1987 sowie 1991 bis 1994 ). Hier war er von 1983 bis und von 1991 bis 1994 Vorsitzender der fraktion .
1987 wurde er in der ersten CDU -geführten Landesregierung unter Walter Wallmann Hessischer Staatsminister für Wissenschaft und Kunst sowie zugleich Bevollmächtigter des Landes Hessen Bund. Außerdem war er in dieser Zeit Vertreter des Koalitionspartners FDP Stellvertreter des Ministerpräsidenten . Nachdem die CDU-FDP-Koalition bei der Landtagswahl 1991 ihre Mehrheit eingebüßt hatte schied er diesen Ämtern aus.