Группа образована в 1953 году в СШАЗа все время своего существования состав The Drifters менялся так часто и так кардинально, что в конце концов группа стала представлять собой сходящихся для студийной записи певцов, а название стало просто общественным достоянием, ибо The Drifters - легенда популярной музыки. В 1953 году The Drifters впервые собрались, при этом ни один певец не имел опыта работы в студии.

Сколотил группу Клайд Макфаттер, планировавший ее в качестве сопровождающего состава для своих собственных записей и концертов. Макфаттер воспитывался в семье баптистского проповедника, петь начал очень рано, выступал в церкви, где вел службу отец, а в школе собрал вокальный квинтет The Mount Lebanon Singers. После выступления в гарлемском концертом зале «Аполло» певца заметил известный преподаватель вокала Билли Уорд, в то время работавший с группой The Dominoes. Уорд пригласил Макфаттера в качестве второго вокалиста в The Dominoes - с его участием группа за короткое время выпустила 22 хит-сингла (по категории «ритм-энд-блюзRHYTHM & (R&AT») и приобрела репутацию сильнейшего вокального коллектива Америки. В 1953 году Уорд уволил Макфаттера, но тот буквально через день подписал контракт с фирмой Atlantic и начал подбирать вокалистов для нового проекта - он пригласил бывших коллег по The Mount Lebanon Singers, и, как гласит легенда, на первом же прослушивании родилось название The Drifters (по той же легенде, сопродюсеры группы Ax-мет Эртегун и Джерри Уэкслер были крайне недовольны материалом, который предложили для альбома музыканты The Drifters). Часть музыкантов попали в The Drifters из другой группы исполнителей госпелз The Trasher Wonders -это были братья Трэшеры и Вилли Ферби. Однако Ферби очень быстро покинул группу, и его место занял ветеран госпелз Билл Пикни - в таком составе The Drifters записали ставшие уже классическими синглы: «Money Honey», «Homey Love», «Bip Barn», «Such A Night», а также сделали свою аранжировку песни «White Christmas», которая вошла в американский Тор 100. На роль менеджера музыканты пригласили известного трубача Джорджа Тредуэлла (в то время он был женат на Дайне Вашингтон) - в 1954 году Тредуэлл выкупил у призванного в армию Макфаттера название The Drifters. Макфаттер в группу больше не вернулся, его сольную карьеру можно назвать успешной, однако в 1972 году, вследствие хронического алкоголизма и пристрастия к сильнодействующим барбитуратам, певец умер. Джордж Тредуэлл проводил «силовой» менеджмент группы, почти в манере Билла Уорда: Макфаттера сменил Джонни Мур, который, в свою очередь, уступил место Бобби Хендриксу, однако данный состав коммерческого успеха не имел. В 1958 году от музыкантов отвернулась фирма грамзаписи, но вместо того, чтобы провести переговоры, Тредуэлл просто уволил всех и в качестве новых The Drifters пригласил малоизвестную группу из Нью-Йорка The Crowns.

В состав The Crowns входили: Бен И. Кинг, Док Грин, Чарлз Томас и Элсберри Хоббс. Однако Пикни и братья Трэшеры продолжали выступать под названием The Drifters, что стало причиной длительных судебных разбирательств. Характерный баритон Кинга и умелое продюсирование Либера и Столлера принесли группе первый хит-сингл «There Goes My Baby» (1959 год); это также была первая в истории ритм-энд-блюзRHYTHM & (R&ATа композиция, в которой звучал струнный ансамбль. Определив путь, ведущий к успеху, The Drifters задействовали ведущих композиторов Нью-Йорка и выбросили подборку хит-синглов, которые прочно обосновались в Тор 20 США: «Dance With Me», «This Magic Moment», «Save The Last Dance For Me» - последняя композиция возглавила хит-парад Америки, а в Великобритании была третьей; сразу же после этого Кинг начал сольную карьеру и записал ряд композиций, которые покорили хит-парады мира: «Spanish Harlem» (US Top 10, 1960), «Don't Play That Song» (US Top 20, 1962) и «Stand By Me», которая в 1961 году вошла в американский Тор 10, а в 1987 году заняла первое место в хит-параде Англии. В The Drifters Кинга заменил Руди Льюис, с ним группа записала хит-синглы «Up On The Roof» и «On Broadway». Льюис также котировался как один из лучших исполнителей госпелз, одно время он входил в состав вокальной группы The Clara Ward Singers. Несмотря на то, что группой фактически единовластно правил Тредуэлл (а после его смерти-жена Фэй), как правило, пренебрегая интересами музыкантов, The Drifters сумели стать весьма влиятельной группой, которая сформировала стиль вокальных коллективов Америки. После смерти Льюиса прямо в студии во время записи «Under The Boardwalk» (1964 год) главным вокалистом The Drifters стал Джонни Мур, незадолго до того вернувшийся в группу. Характерный голос этого певца можно слышать в таких композициях, как «Saturday Night At The Movies» (1964), «At The Club» (1965) и «Come On Over To My Place» (1965). К 1965 году хиты иссякли, и The Drifters, по сути, боролись за выживание вплоть до конца шестидесятых. В начале семидесятых участники разбрелись по почти двадцати группам, каждая из которых выступала под названием The Drifters. В 1972 году, не имея даже контракта на запись, Фэй Тредуэлл и Джонни Мур повезли The Drifters в Европу, где их хиты середины шестидесятых попрежнему фигурировали в хит-парадах. В Англии группе удалось заполучить контракт на запись альбома, и, пользуясь формулой Либера-Столлера и услугами лучших поп-композиторов Европы, The Drifters в короткое время восстановили свою популярность. Их хиты семидесятых годов по большей части представляли собой новые аранжировки прежних топселлеров. В период с 1973 по 1976 годы в британский Тор 5 вошли следующие композиции The Drifters: «Kissing In The Back Row» (1974), «There Going My First Love» (1975) и «You're More Than A Number In My Little Red Book» (1976). С конца семидесятых и по сей день The Drifters - неважно, кто именно входит в состав группы в тот или иной момент - выступают в европейских клубах, их часто можно видеть в музыкальных телепрограммах, а в 1988 году Бен И. Кинг совершил с The Drifters крупномасштабное турне по Европе. Проблемы с названием решились просто: Джонни Мур имеет право использовать имя The Drifters за пределами США, а в Америке название закреплено за группой Чарли Томаса; Билл Пикни и его группа выступают под названием The Original Drifters. Остальные пятнадцать-двадцать The Drifters в расчет не принимаются.