Karolyi hatte die Rumänin Nadia Comaneci 1976 und 1980 zu fünf Olympiasiegen gecoacht, 1984 führte er die US-Amerikanerin Mary Lou Retton zum Mehrkampf-Gold bei den Sommerspielen in Los Angeles.
Karolyi, 1942 im damals zu Ungarn gehörenden Kolozsvar (heute Cluj-Napoca im Rumänien) geboren, hatte sich nach den Erfolgen mit Comaneci wiederholt mit der Verbandsführung im Ceaucescu-Rumänien angelegt und sich 1981 in die USA abgesetzt. Mit seinen gnadenlosen Trainingsmethoden polarisierte Karolyi oft, verhalf gemeinsam mit seiner Frau Martha den US-Turnerinnen aber in der Endphase des Kalten Krieges zum Sprung in die vom Ostblock beherrschte Weltspitze.
Die Endphase von Karolyis Trainerkarriere überschattete der Skandal um den Teamarzt Larry Nassar, der wegen des Missbrauchs von über 250 jungen Frauen und Mädchen zu bis zu 175 Jahren Haft verurteilt wurde. Die Karolyis bestritten zwar jegliche Mitwisserschaft, ab 2016 beendete der US-Verband aber die Zusammenarbeit.