Nach seiner Abstimmungsniederlage um den Parteivorsitz dem Bundesparteitag in Mannheim gegen Oskar Lafontaine wurde er zu einem der fünf SPD-Vorsitzenden gewählt. Als solcher wurde er 1997 und 2001 wiedergewählt.
Als Gründe für seine Entlassung kurz der Bundestagswahl 2002 gelten die Mallorca- Affäre die Huntzinger-Affäre und der Verlust von und Respekt in der Bundeswehr. So ließ sich u.a. für die Zeitschrift Bunte mit Lebensgefährtin Kristina Gräfin Pilati im Swimming-Pool ablichten zeitgleich die Bundeswehr unmittelbar vor einem schwierigen Auslandseinsatz in Mazedonien stand.
Rudolf Scharping ist der erste Verteidigungsminister dessen Führung die Bundeswehr an einem Kriegseinsatz teilgenommen hat und erste Bundesminister der gegen seinen erklärten Willen wurde.
Nach seiner Entlassung als Bundesverteidigungsminister wurde auf dem SPD-Parteitag 2003 nicht mehr als vorgeschlagen. Sein Nachfolger wurde auch in diesem Kurt Beck .
Nach seinem Ausscheiden aus dem Parteivorstand wiederholt Forderungen laut er solle auch sein zur Verfügung stellen damit die ehemalige Juso -Vorsitzende Andrea Nahles in den Bundestag nachrücken kann und dem Generationswechsel der Partei gedient werde.