Франц Ксавье Винтерхальтер родился 20 апреля 1805 года в маленькой деревне Менценшванда (ныне часть г. Санкт-Блазина) в Шварцвальде, Баден. Он был шестым по счёту ребёнком в семье Фиделя Винтерхальтера, фермера и производителя смолы, и его жены Евы Мейер, происходившей из старинного рода Менценшванд.

Автопортрет с братом Германом, 1840