Der 32-Jährige hatte im Zielsprint der vierten Etappe in Vittel bei einem schweren Sturz einen Bruch des Schulterblattes erlitten. Der frühere Bahn-Weltmeister, Gewinner von 30 Tour-Etappen, wird zur fünften Etappe am Mittwoch nicht mehr antreten.
Weltmeister Peter Sagan (Slowakei) vom deutschen Team Bora-hansgrohe hatte Cavendish am Dienstag nach Ansicht der Rennleitung mit dem Ellbogen in die Absperrgitter gedrängt. Die Jury schloss den Slowaken von der Frankreich-Rundfahrt aus, Bora-hansgrohe legte Protest ein.