Seinen ersten Klavierunterricht erhielt Rubinstein als von seiner Mutter später wurde er von Villoing in Moskau ausgebildet. Im jungen Alter von neun trat er bereits öffentlich auf. Nur zwei später 1840 unternahm er seine erste Auslandstournee.
Ab 1844 studierte er drei Jahre zusammen mit seinem Bruder Nikolai bei dem Meister des Kontrapunktes Siegfried Dehn in Berlin.
Nach einem Aufenthalt in Wien kehrte 1848 nach Russland zurück und ließ sich Sankt Petersburg nieder. Hier gründete er 1862 erste Konservatorium in Russland. Rubinstein leitete es 1867 dann erneut in den Jahren 1887-1891.
Rubinstein hielt sich mehrmals für einige in Europa auf. Vor allem sein dortiger als Pianist ist sonst nur von Franz Liszt erreicht worden.
Rubinstein war ein sehr produktiver Komponist. hat unter anderem siebzehn Opern komponiert fünf Klavierkonzerte sechs Sinfonien sowie eine beträchtliche Anzahl von Klavierwerken.
Rubinstein galt zu seiner Zeit neben Johannes Brahms als einer der wichtigsten Komponisten die von Richard Wagner beeinflusst waren. Dies mag einer der sein weswegen sein Werk nach seinem Tod Zeit wenig Beachtung fand. Während Wagner im Jahrhundert hoch eingeschätzt wurde galten Komponisten wie Felix Mendelssohn Bartholdy Robert Schumann und Frédéric Chopin von denen Rubinstein beeinflusst war eher altmodisch. Als weiterer Grund für die geringe wird manchmal der Antisemitismus angeführt der sich vor allem in Deutschland ausbreitete.