Учился на медицинском факультете Московского университета и на театральном отделении Московского филармонического училища.

В 1916 году принят в труппу МХАТ, участвовал в массовых сценах и играл роль Хлеба в «Синей птице» М. Метерлинка.
С 1919 по 1922 - в Камерном театре, потом недолго работал в Московском детском театре, в Театре им. В.Ф. Комиссаржевской.
В 1922 году вступил в труппу театра-кабаре «Не рыдай», где впервые выступил как конферансье.
С 1924 года - участник живой газеты «Синяя блуза», а с 1925 - руководитель одной из ее групп. Как и все "синеблузники", играл в коротких сценах, исполнял фельетоны, пел куплеты, танцевал, случалось, вел программу. Постоянно обращался к темам современности, злобе дня.
В 1928 году окончательно определился в качестве конферансье.

В годы Великой Отечественной войны выступал на передовой и с Советской Армией сошел до Берлина.

Его первой женой была исполнительница русских народных песен Лидия Русланова.

Впервые Гаркави примерил на себя образ Деда Мороза на первой всесоюзной елке в Колонном Доме Союзов 31 декабря 1936 года.

За 5 минут до боя курантов на Спасской башне Дед Мороз взмахом волшебной палочки зажег новогоднюю елку высотой в 15 метров и произнес ставшую впоследствии крылатой, фразу: «Елочка, зажгись!»

Так, с легкой руки мастера конферанса Михаила Наумовича Гаркави родилась еще одна новогодняя традиция-встречать наступление Нового Года бокалом шампанского.