Внук чёрных рабов, этот мальчик родился в нищем квартале Нью-Орлеана, известном как "Back of Town". Его отец бросил семью, когда мальчик был ещё младенцем. Мать стала проституткой, и мальчику с сестрой пришлось жить у бабушки. У него рано проявился музыкальный талант, и вместе с ещё тремя пацанами он пел в уличном квартете, так что первым его заработком была мелочь, выпрошенная на улицах старого Нью-Орлеана.

Семилетнего мальчишку пожалела и пригрела у себя еврейская семья Карнофски, недавно иммигрировавшая в Америку из Литвы. Поначалу они просто давали ему "работу" по дому, чтобы подкормить вечно голодного ребёнка. Потом он стал оставаться ночевать в доме евреев, где впервые в жизни с ним обращались с добротой и лаской. Когда он ложился спать, г-жа Карнофски пела ему русскую колыбельную, и он подпевал ей. Позже он научился петь и играть множество русских и еврейских песен.

Со временем мальчик фактически стал приёмным сыном в этой семье. Карнофски дали ему деньги на покупку его первой трубы; как водится в еврейских семьях, они искренне восхищались его музыкальным талантом. Позже, когда он стал профессиональным музыкантом и композитором, он использовал еврейские мелодии, в таких, например, композициях, как St. James Infirmary and Go Down, Moses. Негритянский мальчик вырос и написал книгу о еврейской семье, усыновившей его в 1907 году. В память о них он до конца жизни носил Звезду Давида и рассказывал, что именно у этой семьи он научился "how to live real life and determination." Имя этого мальчика - Луи Армстронг.