Первый музыкальный опыт Легран получил у своего отца Раймона Леграна — композитора, дирижёра и руководителя одного из оркестров варьете, и матери — Марсель Тер-Микаэлян, пианистки, происходившей из знатной армянской семьи . Был знаком с Эдит Пиаф и Морисом Шевалье.

Учился в Парижской консерватории, после окончания которой в 1952 году отправился в турне по США. Начиная с 1953 года начал писать музыку к кинофильмам, неоднократно работал с такими режиссёрами, как Жак Деми и Жан-Люк Годар. Наибольшую известность ему принёс музыкальный фильм «Шербурские зонтики» (1964, режиссёр Жак Деми). Вокальные партии двух героинь фильма — Женевьевы (Катрин Денёв) и её матери (Анна Вернон) исполнила сестра композитора Кристиан^[en] 

С конца 1960-х годов начал работать в британском кино, а затем — и в Голливуде.

Как джазовый пианист работал с произведениями Джанго Рейнхарда и Бикса Бейдербека. В 1958 году записал альбом с Дональдом Бирдом, Джоном Колтрейном и Беном Вебстером, в 1978 году — альбом Le Jazz Grand, а в 1991 — альбом Dingo, за который удостоился премии «Грэмми». Параллельно выступал как дирижёр и пианист классической музыки.

Мишель Легран — трижды лауреат премии «Оскар» в номинациях за лучшую песню и лучшую музыку к фильму. Всего номинировавшись шесть раз, он получил «Оскар» в 1969 (The Windmills of Your Mind, «Афера Томаса Крауна» — лучшая песня), 1972 («Лето 42-го», лучший оригинальный саундтрек) и 1984 («Йентл», лучшая запись песен к фильму) годах. Композитор является лауреатом премий BAFTA и «Золотой глобус» (на которую номинировался восемь раз), также три раза номинировался на премию «Сезар».

Легран автор музыки к балету хореографа Джона Ноймайера «Лилиом» (Гамбургский балет, 2011). За эту работу в 2012 году он был награждён призом «Бенуа танца»