Весной 1942 года как начальник штаба Юго-Западного направления Баграмян являлся одним из основных разработчиков Харьковской наступательной операции, завершившейся катастрофой. В результате ряда ошибок начавшееся в мае 1942 с Барвенковского выступа наступление с целью овладения Харьковом не получило должного завершения. Немецкая армейская группа генерала Клейста нанесла удар по основанию Барвенковского выступа, отрезав его от основных сил. Войска Красной Армии, находившиеся на плацдарме, оказались в окружении. Только отдельным окружённым частям удалось пробиться обратно за линию фронта. К 29 мая 1942 года ликвидация окружённых войск завершилась. По немецким данным было захвачено 240 000 пленных, более 1 200 танков и 2 000 орудий, потери немцев составили всего 20 000 человек. В результате этой катастрофы противник получил возможность прорваться на Кавказ и к Сталинграду. Несмотря на то, что все решения в ходе боевых действий принимали Тимошенко и Хрущёв, Сталин назвал Баграмяна главным виновником поражения. От суда военного трибунала его спас Г. К. Жуков, заявивший Сталину, что вина за провал Харьковской операции лежит отчасти на Ставке и Генеральном штабе. Жуков отметил также, что опытных военачальников не хватает, и поручился за Баграмяна.