Коллер родился в семье трактирщика и мясника. В 1840—1843 годах учился в Кантональной индустриальной школе Цюриха. Первые уроки рисования получил у своего дяди, художника-пейзажиста. В 1843 году Коллер бросает учебу в Индустриальной школе и поступает учеником к преподавателю рисования Швейцеру, портретисту Обристу и пейзажисту Ульриху. Юноша мечтает, став художником, рисовать животных — в первую очередь лошадей.