Uit Joodse ouders werd Milhaud in Aix-en-Provence op 4 september 1892 geboren. Hij studeerde aan het Parijse Conservatorium viool bij een hele reeks beroemde leraars, en maakt er kennis met Honegger, Auric, Durey, Poulenc en Tailleferre. Samen richtten ze de "Groupe des Six" op. De Eerste Wereldoorlog verhindert zijn Prijs van Rome en als componist wordt hij zowat de exponent van het anti-impressionisme (hij vindt dit te gemaniëreerd).

Milhaud kwam sterk onder de invloed van Paul Claudel, en volgt hem als secretaris van 1917 tot 1919 naar Brazilië (Claudel was toen Frans gezant in Rio de Janeiro). Zowel de Parijse als de Braziliaanse periode met Claudel laten hun sporen na in Milhauds œuvre: zijn muziek bij de Oresteia van Aeschylus (Claudel werkte aan de vertaling ervan), en de invloed van de negermuziek die vele werken van zijn zeer uitgebreid werk siert, zijn daarvoor een bewijs.

In 1940 week Milhaud uit naar Amerika, waar het antisemitisme minder sterk was, en doceerde er aan het Mills College in Californië. Na de oorlog keerde hij terug naar Parijs als leraar compositie aan het Conservatorium, en verdeelde zijn tijd tussen Amerika en Frankrijk. Hij overleed in Genève op 22 juni 1974.