Als Junge lernt Segundo Gitarre und spielen 1934 wird er von Nico Saquito engagiert tritt in Havanna auf. 1948 gründet er mit Lorenzo Hierrezuelo das Los Compadres und wird dadurch innerhalb von wenigen berühmt. Allerdings beschränkt sich diese Berühmtheit zunächst auf Kuba. Während seiner Zusammenarbeit mit Hierrezuelo er seinen Künstlernamen Compay (von spanisch compadre ) Segundo (spanisch Zweiter ) weil er in dem Duo die Stimme gesungen hat.
1955 trennt sich Segundo im Streit von arbeitet bei einem Zigarrenhersteller und kehrt der Musik den Rücken Erst 1970 beginnt er wieder zu musizieren und erneut auf einer von ihm erfundenen siebensaitigen dem Armónio. 1989 reist er in die USA und sein neues Lied Chan Chan vor. Hier wird eine Plattenfirma auf aufmerksam und nimmt ihn unter Vertrag.
1997 kommt der große Durchbruch zum Star: Wim Wenders dreht den Film Buena Vista Social Club in dem Segundo als Partner von Ry Cooder zum Hauptdarsteller avanciert. Der Erfolg ist und Segundo wird im Alter von 90 zum Star.
Am 14. Juli 2003 stirbt Segundo an den Folgen eines in Havanna.