Ackermann ist seit 1977 mit der Finnin Pirkko Mölsä verheiratet - sie ist HSG-Absolventin - und hat eine Tochter. Er als Hobbymusiker (Klavier Gesang) und großer Opernliebhaber. seiner Jugend betrieb Ackermann Leichtathletik .
Ackermann auf einem Plakat der PDS
Seit Januar 2004 muß sich Josef Ackermann dem Landgericht in Düsseldorf verantworten. Die Anklage gegen ihn und weitere Beteiligte der sog. Mannesmann-Affäre wie Ex-Mannesmann Klaus Esser und den früheren IG Metall -Vorsitzenden Klaus Zwickel lautet auf Untreue . Die Angeklagten stehen unter dem Verdacht Düsseldorfer Konzern im Rahmen der Übernahme durch Vodafone im Februar 2000 durch überhöhte Prämienzahlungen Esser und weitere Manager um rund 110 Mark geschädigt zu haben. Ackermann sorgte zu Beginn des Prozesses erhebliches Aufsehen durch seine der Presse gegenüber Aussage: "Dies ist das einzige Land in diejenigen die Erfolg haben und Werte schaffen vor Gericht gestellt werden." Der Satz wurde dahingehend interpretiert daß Ackermann nicht nur die des gegen ihn und die Mitangeklagten gerichteten falsch einschätze sondern daß ihm zudem jedes fehle für die in der Öffentlichkeit allgemein Empörung über die Maßlosigkeit der in der üblichen Managergehälter.