De Baillet-Latour wurde 1903 Mitglied des IOC. Drei Jahre später er Mitbegründer des Nationalen Olympischen Komitees von
Bei den Olympischen Spielen 1920 in Antwerpen übernahm er zentrale Aufgaben in der Die ersten Spiele nach Ende des Ersten Weltkriegs mit deren Ausrichtung Antwerpen erst 1919 betraut wurde wurden trotz der kurzen und der schwierigen Umstände in denen sich Land zwei Jahre nach Kriegsende befand ein Erfolg.
Als sich der Begründer der Olympischen Pierre de Coubertin 1925 aus dem Amt des IOC-Präsidenten zurückzog De Baillet-Latour zu dessen Nachfolger gewählt. Er der Organisation bis zu seinem Tod 1942 vor. Sein Nachfolger wurde Vizepräsident Sigfrid Edström .
Präsidenten des Internationalen Olympischen Komitees