ИС-2 разработан на Челябинском Кировском Заводе (ЧКЗ) в конце 1943 года, когда стало ясно, что предыдущая модель тяжёлого танка ИС-1 (ИС-85) обладает недостаточным для тяжёлого танка вооружением. Опыт боевого использования 85-мм пушки Д-5 на самоходно-артиллерийской установке СУ-85 и опытные стрельбы по трофейным тяжёлым немецким танкам показали, что орудие Д-5 не позволяет достичь решительного превосходства над вооружением немецких танков, более того по своей бронепробиваемости оно уступает немецким 88-мм танковым пушкам и 75-мм пушке KwK 42 L70, учтановленной на танке «Пантера». Поскольку новые тяжёлые танки предполагалось использовать для прорыва сильноукреплённых полос обороны противника, насыщенных долговременными и полевыми фортификационными сооружениями, то осколочно-фугасное действие 85-мм снарядов также было признано недостаточным (этот факт также был проверен самоходной артиллерией - для борьбы с ДОТами и сильными ДЗОТами советские командиры предпочитали СУ-122, а не СУ-85). Однако башня и конструкция монтировки орудия у танка ИС имели значительный резерв по установке более мощных артсистем.

В сентябре 1943 года известный советский артиллерийский конструктор Фёдор Фёдорович Петров направил письмо главному конструктору ЧКЗ и опытного завода №100 Жозефу Яковлевичу Котину о возможности установки в танки ИС артсистем калибра 107, 122 и даже 152 мм. Ж. Я. Котин выбрал для усиления вооружения танка ИС 122-мм пушку А-19. После согласования технических подробностей он получил согласие лично от И. В. Сталина на установку А-19 в танк ИС. В конструкторском бюро завода №9 под руководством Ф. Ф. Петрова А-19 была доработана для установки её в танк - её оснастили дульным тормозом для смягчения значительной отдачи, более компактными противооткатными устройствами, улучшили расположение органов управления для удобства наводчика в стеснённом боевом отделении танка. Этот доработанный вариант А-19 получил название Д-25Т и его валовое производство было запущено на заводе №9 немедленно. Поначалу в его освоении были трудности, поэтому прорабатывался вопрос об установке в ИС непосредственно пушки А-19. Однако их удалось преодолеть и в дальнейшем установка А-19 в танк не требовалось.

На опытном заводе №100 прототип пушки Д-25 был установлен на бывший Объект 237 - опытный вариант ИС-1. Эта экспериментальная машина получила обозначение Объект 240. В октябре-ноябре на Чебаркульском полигоне проходили её испытания пробегом и стрельбой. Изначально Д-25 была оснащена Т-образным дульным тормозом, который разорвался при тестовых стрельбах. В некоторых источниках утверждается, что при этом чуть не был убит маршал Ворошилов, присутствовавший на испытаниях. Впоследствии на ИС установил двухкамерный дульный тормоз немецкого типа, а затем завод №9 разработал свою конструкцию двухкамерного дульного тормоза, которая и стала устанавливаться на серийных машинах.

После успешных испытаний Объекта 240 поступило распоряжение о немедленном запуске его в серийное производство на ЧКЗ. В ноябре 1943 года началась сборка первых серийных машин. Новая модификация танка получила индекс ИС-2 (в годы войны с ним на равных использовалось обозначение ИС-122, первые образцы иногда также именовались в частях как КВ-122). Производство продолжалось с декабря 1943 года по июнь 1945-го, несколько машин этой марки также выпустил Ленинградский Кировский завод.

Боевое крещение ИС-2 приняли в начале 1944 года, причём оно было вынужденным, оборвав плановую тщательную подготовку экипажей для новой машины. Танки оправдали ожидания командования. Генерал-инспектор панцерваффе Гейнц Гудериан подписал приказ, согласно которому танк типа Тигр не имел права вступать в бой с ИСом один на один, т.к. был обречён на поражение. Тяжёлые танковые полки (а впоследствии и бригады), укомплектованные ИС-2, прорывали любую оборону немцев. Но, несмотря на огромную мощь, танк имел не очень большой вес для машин этого класса (46 тонн), позволявший ему переезжать реки по обычным мостам, не очень большие размеры - 9.83/3.07/2.73, благодаря чему его можно было транспортировать на обычных железнодорожных платформах, и довольно приличную максимальную скорость - 37 км/ч.

Продемонстрированные в бою высокие боевые качества сразу же привели к приказу о максимальном увеличении объёмов производства ИС-2. При этом была оборвана тестовая работа, в результате чего на фронт отправилось очень много недоведённых машин и их выходы из строя послужили причиной большого количества рекламаций из войск. Для обеспечения качества серийных ИС-2 и их совершенствования в начале 1944 года Ж. Я. Котин и ряд его сотрудников был отстранён от конструкторской работы по новым машинам с целью ликвидации дефектов в конструкции ИС-2. Доводка машины проходила тяжело, так в апреле 1944 года военная приёмка докладывала о том, что существенного улучшения качества выпускаемых на ЧКЗ танков ИС-2 и САУ на его базе не произошло. Однако летом 1944 года проводимая работа по улучшению качества дала первые плоды - около трети выпускаемых танков удавалось сдать приёмке с первого раза, а с ноября 1944 года качество принимаемых танков официально было признано удовлетворительным - Ж. Я. Котин был возвращён на пост главы КБ ЧКЗ и опытного завода №100. Зимой 1944-45 гг. рапорты из войск свидетельствовали, что ИС-2 безаварийной работой перекрывают гарантийный километраж в 1000 км. Отлаженный производственный механизм по выпуску ИС-2 привёл к тому, что машины 1945 года выпуска считались довольно надёжными и нетребовательными при эксплуатации.

Параллельно с работами по увеличению надёжности велись изыскания по усилению бронезащиты ИС-2. Первый вариант, хоть и был лучшим по бронезащите среди всех советских танков, сравнительно легко поражался 88-мм танковыми и противотанковыми пушками вермахта. 75-мм длинноствольные орудия также представляли для него существенную угрозу. Проанализировав поражения, конструкторы ЧКЗ пришли к выводу, что усиление бронезащиты башни уже невозможно без кардинальной переделки всей конструкции, что было невозможно в жёстких условиях серийного производства. Установка 121,92-мм пушки утяжелила башню и нарушила её балансировку - центр масс не лежал на оси вращения башни (башня была сконструирована и уравновешена под 85-мм орудие Д-5). Дополнительное бронирование, помимо общего утяжеления машины, привело бы к невозможности ручного поворота башни при сколь-нибудь значительном крене машины и требовало гораздо более мощного электромотора для привода поворота. Поэтому башня была оставлена без изменений. Защиту бронекорпуса удалось очень сильно улучшить, заменив ступенчатую верхнюю лобовую деталь на её спрямлённую конфигурацию. Бывали случаи, когда верхняя лобовая деталь не пробивалась в упор даже из мощнейшей 88-мм противотанковой пушки [[Pak 43]. Однако нижняя лобовая деталь как была, так и осталась в прежнем уязвимом качестве. Толщина лобовой брони достигала 120 мм, бортовой - 90 мм, но бронедетали были литыми, а не катанными, считавшимися более качественными.

Дальнейшие работы по усилению защищённости тяжёлых танков велись параллельно двумя коллективами - инженерами ЧКЗ и опытного завода №100. Интересно, что руководителем обоих КБ был Ж. Я. Котин. Каждый из коллективов продвигал свои проекты, но в серию в 1945 году под индексом ИС-3 пошёл объединённый вариант Объект 703, который по сути был ИС-2 с кардинально переработанной бронезащитой с учётом опыта Великой Отечественной войны.