Seit 1963 ist Scherf Mitglied der SPD von 1972 bis 1978 war er deren Landesvorsitzender in Bremen. 1984 ist er Mitglied im Bundesvorstand der
1971 wurde Scherf in die Bremische Bürgerschaft aus der er 1978 nach der Wahl zum Senator für Finanzen im Senat des Bürgermeisters Hans Koschnick ausschied.
Als Regierungschef und Bürgermeister Bremens bemüht Scherf um einen konsensorientierten und "bürgernahen" Politikstil. Seine persönliche Popularität die seiner Partei und seiner Regierung.
Im Wahlkampf zur Bürgerschaftswahl 2003 verknüpfte er das Abschneiden der SPD mit seinem eigenen politischen Schicksal und kündigte nur im Fall eines Wahlsieges der SPD politisch tätig zu bleiben. Die Strategie ging und er wurde erneut Bürgermeister. Scherf will Amt nun während der laufenden Legislaturperiode an einen Nachfolger übergeben.