Песня описывает реальные события. В декабре 1971 года группа съехалась в швейцарский городок Монтрё, чтобы записать новый альбом на передвижной студии, арендованной у Rolling Stones и известной как Rolling Stones Mobile. Запись решено было делать в развлекательном комплексе казино Монтрё (в песне — «the gambling house»), в котором они уже бывали с концертами. Накануне студийной сессии, в субботу, 4 декабря, в театре казино происходил концерт Фрэнка Заппы и The Mothers of Invention, как часть их европейского турне. Это был последний концерт в этом зале, после которого он должен был поступить в распоряжение Deep Purple для записи альбома. Группа решила во избежание недоразумений пока не разгружать аппаратуру, что оказалось впоследствии счастливым решением.
Клод Нобс (фото 2006 г.)

Примерно через час после начала концерта, во время синтезаторного соло на King Kong, из-за подвесного бамбукового потолка появились искры и затем огонь — очевидно, один из зрителей (которого найти не удалось) выстрелил из ракетницы в крышу (строчка «some stupid with a flare gun»). Заппа спокойно сказал «без паники, у нас пожар» (возможно, они сами ничего не заметили и им самим сказали), после чего музыканты покинули сцену. Зрители эвакуировались довольно организованно, обошлось без жертв. В песне упоминается «funky Claude», который «вбегал и выбегал», — это директор джазового фестиваля в Монтрё Клод Нобс, помогавший зрителям выбраться из зала. Среди зрителей были и участники Deep Purple. По воспоминаниям Гловера, пожар вначале был настолько слабым, что он успел за время эвакуации снова войти в зал, подойти поближе к пустой сцене, рассмотреть аппаратуру Заппы с группой и впечатлиться от двух новейших синтезаторов.

В результате пожара сгорел дотла весь многоэтажный комплекс казино, вместе с концертным залом и аппаратурой «The Mothers» (которая была застрахована, но концерты во Франции и Бельгии пришлось отменить). Из гостиницы Europe Hotel, где остановились участники Deep Purple, музыканты наблюдали через большое окно ресторана, как казино охватывается пламенем (чему помог ветер, дувший с гор), и видели завесу дыма над Женевским озером.

Группе, уже взявшей в аренду дорогую студию, пришлось подыскивать по всему городу новое помещение. Вскоре Нобс нашёл для них театр «Павильон» (The Pavilion), расположенный в центре города. Туда перевезли оборудование и начали работать в середине дня над инструментальной дорожкой с новым риффом, заготовленным Блэкмором, ещё без текста, под рабочим названием «Title #1». Отладка аппаратуры и разработка аранжировок заняла остаток дня, и собственно дубли начали записывать уже за полночь. Третий дубль оказался удачным, и на нём остановились. Как оказалось, всё это время обслуживающий персонал пытался удержать за запертыми дверьми наряд полиции, которую вызвали окрестные жильцы из-за шума. Именно благодаря тому, что полицию задерживали, удалось закончить запись дорожки.

Поскольку работа только в дневное время музыкантам не подходила, пришлось искать новый зал. К помещению предъявлялось много требований, и его поиски заняли 5—6 дней. В один из этих дней ожидания Гловер проснулся в гостиничной комнате, произнеся в момент пробуждения слова «smoke on the water». Когда он позже сообщил об этих словах Гиллану, тот сказал, что они звучат как «наркоманские» («sounds like a drug song»), и, относя себя исключительно к «пьющим» группам, они поначалу эти слова отвергли.

В конце концов, уже в цейтноте, группа сняла целиком гостиницу «Гранд Отель», находившуюся на отшибе и почти пустовавшую, а потому практически неотапливаемую в декабре («We ended up at the Grand Hotel, / It was empty, cold and bare»), превратив её Т-образный коридор на первом этаже в импровизированную студию. Пришлось специально нанять столяра для сооружения деревянного щита, который отгораживал фойе, и обложить щит матрасами из гостиничных номеров. Был арендован промышленный обогреватель, который включали в перерывах по нескольку раз в день. Из припаркованной рядом студии провели кабели в гостиницу. Поскольку выход в фойе был перекрыт щитом, музыканты попадали внутрь и выбирались обратно на улицу в передвижную студию через боковой коридор и балконы прилегающих смежных номеров. Пространство, где они играли, было подсвечено красными прожекторами для создания творческой атмосферы («With a few red lights and a few old beds / We made a place to sweat…»). Барабанные партии были записаны отдельно в коридоре гостиницы, так как Йену Пэйсу пришлась по душе реверберация холла между номерами.

В таких условиях был записан весь альбом Machine Head. А на инструментальную дорожку, записанную ранее в «Павильоне», был наложен вновь написанный текст с припевом «Smoke on the Water».

Из всех композиций альбома песня «Smoke on the Water» вошла в концертную программу 1972 года самой последней, это произошло в конце мая.