Строительство города и замка началось во второй половине XIII века, около брода через Влтаву, через который пролегал важный торговый путь в Богемии. Впоследствии поменял несколько владельцев, в числе которых были род Розенбергов, императоры Рудольф II (в Крумлове жил безумный сын Рудольфа Юлий Цезарь Австрийский), Фердинанд II, род Эггенбергов и, наконец, род Шварценбергов, который владел замком до 1945 года.

Город стал частью Австрийской Империи в 1806 году и Австро-Венгрии в 1866. В 1910 году в городе проживали 8662 человека, включая 7367 немцев и 1265 чехов. В 1918 году чешские войска заняли город, и он оставался частью Чехословакии до 1938 года. В период с 1938 по 1945, был аннексирован нацистской Германией как часть Судетской области. После Второй мировой войны немецкоговорящее население было выселено, и город снова стал частью Чехословакии. Во время коммунистического режима Крумлов обветшал и пришёл в упадок, но после бархатной революции был в большей степени восстановлен и сейчас является одним из самых популярных туристических центров в Чехии.