Randall absolvierte die Neighbourhood Playhouse Schauspielschule in New York City. Er in über 50 Filmen auf. Er spielte besten Freund in Komödien mit Doris Day und Rock Hudson (Bettgeflüster – 1959 Ein Pyjama für – 1961) und einen glücklosen Verehrer Kim (Sexy! – 1962).
In Deutschland wurde er in der des Felix Unger in der US-Fernsehserie Männerwirtschaft (orig. The Odd Couple ) bekannt die vom ZDF ausgestrahlt wurde. "Gegenspieler" war Jack Klugman Sportjournalist Oscar Madison . Die Serie wurde 1970 bis 1975 produziert und beruhte auf Neil Simons Theaterstück das zuvor bereits mit Jack Lemmon und Walter Matthau verfilmt worden war.
Später trat er als Richter in der Tony-Randall-Show und als Werbegrafiker in Love Sidney auf. 1998 wurde Randall ein Stern auf dem Walk of Fame in Hollywood gewidmet. Politisch engagierte er sich gegen Apartheid und sammelte Geld für die AIDS -Hilfe.
Randall starb nach einer Herzoperation an Lungenentzündung . Er war seit 1995 zum zweitenmal verheiratet und hatte zwei