Johann Gebhard wurde als 16. Kind Grafen Ernst II. von Mansfeld zu Vorder-Ort dessen zweiter Ehefrau Dorothea zu Solm-Lich geboren.
Am 26. Juli 1558 wurde er Erzbischof von Köln. Wahl fand nicht bei allen Klerikern der Diözese Wohlwollen so versuchte der angesehene Johann Propst zu Bonn bei Papst Paul IV. gegen die Wahl zu intervenieren.
Um 1560 verlor er den Einfluss auf das Suffraganbistum Utrecht das im Zuge einer Neuordnung der selbst zur Erzdiözese wurde.