Ларссон родился в старом городе в Стокгольме. Его родители были очень бедными, детство не было счастливым. Отец Карла работал временным работником, плавал кочегаром на корабле, работал простым перевозчиком зерна. Он пил, бредил, и кричал сыну "Я проклинаю день когда вы родились". Мать Карла - работала прачкой. Художественный талант Карл, унаследовал от своего деда по материнской линии, который был художником. В возрасте тринадцати лет, его учитель Якобсен, из школы для детей из малоимущих семей, рекомендовал принять его в Шведскую Королевскую академию искусств, и он был принят. В первые годы учебы, Карл ощущал себя человеком второго сорта, и был очень застенчив. В то же время, Ларссон работал карикатуристом в юмористическом листке "Kasper" и в качестве художника-графика для газеты "Ny Illustrerad Tidning". Его ежегодная заработная плата была достаточной, чтобы помогать финансово своим родителям. После нескольких лет работы в качестве иллюстратора книг, журналов и газет, Ларссон переехал в Париж, в 1877 году, где он провел несколько изнурительных лет как трудолюбивый художник, без какого-либо успеха. Ларссон не стремился установить контакт с французскими импрессионистами, вместо этого, наряду с другими шведских художников, он оторвался от радикального движения. После двух лет в Barbizon, убежище живописцев плэнера, он переселился в 1882 году, в колонию скандинавских художников в пригороде Парижа. Именно там,Карл познакомился с художницей Karin Berg??, которая вскоре стала его женой. У Карла и Карин Ларссон было восемь детей, и его семья стала для Ларссона любимыми моделями. Их восемь детей, Suzanne (1884), Ulf (1887, умер в возрасте 18),Pontus (1888),Lisbeth (1891), Brita (1893), Mats (1894, скончался в 2 месяца), Kersti (1896) и Esbj?rn (1900). В 1888 году молодая семья получила небольшой дом, названный Little Hyttn?s в Sundborn, от отец Карин - Adolf Berg??. Карл и Карин оформили и обставили этот дом, в соответствии с их особым художественным вкусом, а также для удовлетворения потребностей растущей семье. Благодаря картинам и книгам Карла, этот дом стал одним из самых известных домов художников в мире. Потомки Карла и Карин Ларссон, держат его открытым для туристов, каждое лето - с мая по октябрь. Популярность Ларссона значительно возросла с развитием технологий воспроизведение цвета в 1890-х, когда шведской Bonnier опубликовал книги, написанные и иллюстрированные Карлом и содержащие полноцветные репродукции его акварелей.