Anfang der fünfziger Jahre nahm Patterson den Golden-Gloves-Wettkämpfen teil und wurde 1951 und 1952 Landesmeister im Mittelgewicht. 1952 gewann er bei den Olympischen Sommerspielen in Helsinki die Goldmedaille im Mittelgewicht; anschließend wechselte mit einer Kampfbilanz von 40 Siegen (davon durch K. o.) und vier Niederlagen ins
1956 wurde er durch einen K.O. -Sieg in der fünften Runde über Archie Weltmeister im Schwergewicht. Patterson war damit bis der jüngste Schwergewichtsweltmeister und der erste Olympiasieger diesen Titel erringen konnte.
Nachdem er seinen Titel viermal erfolgreich hatte verlor er ihn 1959 an den Schweden Ingemar Johansson. Den gegen Johansson gewann Patterson durch K.O. in fünften Runde. Damit wurde er der erste der seinen Weltmeistertitel zurückgewann und damit die They never come back durchbrechen konnte.
Patterson verteidigte seinen Titel mehrmals erfolgreich er 1962 gegen Sonny Liston unterlag. Patterson setzte Karriere bis Anfang der siebziger Jahre fort. letzten Kampf verlor er im September 1972 gegen Muhammad Ali durch technischen K.O. in der achten
Floyd Patterson bestritt in seiner Karriere Kämpfe von denen er in 55 siegreich 8 mal musste er sich geschlagen geben einmal kam es zu einem Remis