Он учился в Одессе в коммерческом училище Файга, откуда в 1909 году был отчислен за плохую успеваемость и низкую дисциплину. После непродолжительной работы в бродячем цирке в качестве гимнаста он вернулся в Одессу, где научился играть на скрипке. В 1912 году Утесов устроился в Кременчугский театр миниатюр, и тогда же взял сценический псевдоним Утесов. Начиная с 1913 года он играл в одесской труппе К.Г.Розанова (Большой и Малый Ришельевские театры), Херсонском театре миниатюр, передвижном театре миниатюр "Мозаика".

В 1919 году состоялся кинематографический дебют Утесова в роли адвоката Зарудного в фильме "Лейтенант Шмидт — борец за свободу". В 1921 году началась театральная карьера Утесова. Он играл в таких театрах, как Театр революционной сатиры (Москва), Театр музыкальной комедии, Палас-театр, Свободный театр (Ленинград), "Маринэ" (Рига). В 1925 году Утесов снялся в двух фильмах Бориса Светлова "Карьера Спирьки Шпандыря" и "Чужие".

В 1928 году во время поездки в Париж Утесов впервые услышал профессиональный джаз, собрал музыкантов и стал готовить джазовую программу. Театрализованный джаз Леонида Утесова дебютировал 8 марта 1929 года на сцене Малого оперного театра в Ленинграде с программой "Теа-джаз". Это был совершенно новый для эстрады того периода жанр. Утесов совмещал дирижирование с конферансом, танцами, пением, игрой на скрипке и чтением стихов. Разыгрывались разнообразные сценки между музыкантами и дирижером. Все выступление было режиссерски объединено, начиная со знакомства с публикой и кончая прощальной песней "Пока", для трансляции которой использовались киноэкран и репродукторы, установленные на фасаде концертного здания.

В 1934 году на экраны кинотеатров вышел фильм Григория Александрова "Веселые ребята", в котором снимался весь оркестр Утесова. Общее настроение картины определили песни Дунаевского на стихи Лебедева-Кумача: "Сердце, тебе не хочется покоя" и "Марш веселых ребят" в исполнении Леонида Утесова.

Объявление о начале войны застало Утесова во время репетиции новой программы "Напевая, шутя и играя" в московском "Эрмитаже". Желая поддержать солдат, его оркестр в короткий срок создал первую военную программу "Бей врага!", в которой наряду с известными песнями прозвучали новые произведения "И не раз и не два мы врага учили", "Партизан Морозко" и "Привет морскому ветру". За первый год войны оркестр дал свыше 200 концертов на заводах, кораблях, в действующей армии на Калининском фронте, постоянно включая в программу новые песни: "Жди меня", "В землянке", "Темная ночь", "Одессит Мишка", сатирические антифашистские частушки "Гадам нет пощады!".

В июне 1942 года Леониду Утесову было присвоено звание заслуженного артиста РСФСР. Вторая программа военных лет "Напевая, шутя и играя" явилась откликом на начало серьезных успехов Советской армии. В нее были включены песни: "Прощание", "Пароход", "Десять дочерей", "Два друга". В 1944 году оркестр представил новую джаз-фантазию "Салют", в которой прозвучали отрывки из симфонических произведений, свыше двадцати старых и новых песен, лирические и сатирические интермедии. 9 мая 1945 года при огромном стечении народа Утесов выступил с оркестром на открытой эстраде на площади Свердлова в Москве.

В 1965 году Леониду Утесову было присвоено звание народного артиста СССР. Он стал первым артистом эстрады, удостоенным этого звания. 9 октября 1966 года на концерте в ЦДСА артист почувствовал себя плохо, и через некоторое время решил покинуть сцену. В оставшиеся 16 лет жизни Утесов написал книгу "Спасибо, сердце!", руководил оркестром, много снимался на телевидении, но сам почти не выступал. В декабре 1981 года состоялось последнее появление Утесова на публике.

Музыкальные критики часто обвиняли Утесова в отсутствии певческого голоса. Леонид Осипович неизменно отвечал: "Пусть так! Я пою не голосом — я пою сердцем!".
Леонид Утесов умер 9 марта 1982 года в Москве и был похоронен на Новодевичьем кладбище.