Ефим Копелян родился 12 апреля 1912 года в городе Речица в Белоруссии. 
В возрасте двенадцати лет Ефим прочел «Короля Лира», после чего перечитал всего Шекспира, и впоследствии, став актером, Копелян рассказывал, что детские впечатления от прочтения этих произведений сыграли большую роль в выборе им профессии.

После окончания школы Ефим Копелян приехал в Ленинград и, проработав некоторое время токарем на заводе «Красный Путиловец», поступил по совету своего друга в Академию художеств на архитектурный факультет. Однажды, чтобы немного заработать, Ефим Копелян пришел в Большой драматический театр имени Горького (БДТ) для участия в массовке, и вскоре один из знакомых Копеляна предложил ему поступить в театральную студию при БДТ. Преподававший в студии актерское мастерство главный режиссер и художественный руководитель БДТ Константин Тверской был очень строгим и требовательным педагогом, любившим повторять студентам: «Пять я ставлю господу Богу, четверку - себе, ну а тройку - самому крепкому ученику». И актерские способности Копеляна показались ему незначительными. Во время учебы на первом курсе он хотел отчислить Копеляна, но студента выручила общественная нагрузка, так как Ефим был председателем ученического комитета. Чтобы решить – стоит ли отчислять Ефима Копеляна на втором курсе обучения, педагог поручил ему сыграть роль в отрывке пьесы Погодина «Мой друг». Во время исполнения этой роли Копеляну необходимо было исполнить песню, мотив которой Ефим неожиданно забыл, но не растерялся, и стал напевать «Марсельезу». Педагоги в экзаменационной комиссии смеялись, а Копелян получил возможность учиться далее. Во время объявления оценок студентам второго курса Тверской сказал: «Я изменяю своему правилу и ставлю пять ученику!..» Этим учеником стал Ефим Копелян.

В конечном итоге в студии Копелян зарекомендовал себя как характерный актер. Он сыграл роли постановках «Интермедии» Сервантеса, «Вечер русских водевилей», Самсона Силыча Большова в «Свои люди сочтемся» Островского, который был отмечен на страницах журнала «Рабочий и театр». В 1935 году Копелян окончил театральную студию и его пригласили в труппу БДТ. Копелян позже рассказывал, что впервые выйдя на сцену театра, он от волнения появился не через дверь, а через окно. На сцене в это время находился другой актер театра – Николай Монахов, к которому удрученный Копелян отправился извиняться после спектакля. Актер выслушал объяснений Копеляна, и спросил: «А больше ты ничего не заметил, Копелян? Ты ведь, голубчик, мало того, что вошел через окно, ты ведь вышел-то… через камин!» И засмеялся.

Первой ролью Копеляна, сыгранной на профессиональной сцене, стала роль кинооператора Буркова в постановке «Не сдадимся», рассказывавшей об эпопее дрейфа Челюскина. Газеты хвалили спектакль, но о молодом актере Копеляне в них сказано не было. В течение нескольких лет он играл лишь эпизодические роли в спектаклях «Не сдадимся», «Дума о Британке», «Кубанцы», «Царь Потап» и «Король Лир».

Кинодебютом Копеляна стала эпизодическая роль балалаечника в фильме «Ошибка героя», снятого в 1932 году. Всего в кино Великой Отечественной войны Копелян успел сыграть лишь в эпизодических ролях в фильмах «Танкер Дербент» и «Боксеры». Начало Великой Отечественной войны БДТ встретил на гастролях в Баку. Гастроли театра сразу прекратились, и труппа вернулась в Ленинград. Сразу после возвращения в город 4 июля 1941 года Копелян вместе с артистами БДТ Николаем Корном и Чайниковым, актрисой Осокиной, и другими служащими театра записался в народное ополчение. Многие из ополченцев после короткой военной подготовки, уходили на фронт, где на Лужской линии обороны, в ста километрах от Ленинграда, составленные из них дивизии совместно с частями Красной Армии сдерживали в течение месяца наступление немецких войск. Но Копелян и другие артисты БДТ, записавшиеся в ополчение, на фронт попасть не успели. Под руководством Николая Черкасова в Ленинграде началось формирование Театра Народного ополчения, и из артистов были сформированы четыре концертные бригады. Каждому из членов концертной бригады пришлось осваивать смежные профессии. Копелян по совместительству стал барабанщиком. Позже Копелян вспоминал: «Когда кончается мое основное выступление, я превращаюсь в скромного рядового от музыки». Репертуар концертных бригад состоял из сцен из довоенных спектаклей, сатирических, музыкальных и танцевальных номеров. Служащие коллектива театра ополчения стали военнообязанными, получили обмундирование, оружие и перешли на казарменное положение. В конце сентября 1941 года Театр народного ополчения был переименован в Ленинградский фронтовой агитвзвод, который находился в Доме Красной Армии на Литейном проспекте. С транспортом в осажденном городе становилось все хуже, автомобилям не хватало бензина, и бойцы агитвзвода на свои концерты чаще всего отправлялись пешком, передвигаясь на обстреливаемых участках нередко короткими перебежками или ползком. Если кто-то из артистов по пути погибал, то оставшиеся в живых на ходу меняли программу выступления.

11 февраля 1943 года БДТ первым из эвакуированных театров вернулся в Ленинград, и с июля Копелян вновь вошел в труппу театра. Теперь он был загружен ролями, но в театре один режиссер сменялся другим, и определенной репертуарной политики не было. Ситуация изменилась лишь в 1956 году с приходом в БДТ Георгия Товстоногова, который уволив многих актеров театра, оставил Копеляна. Товстоногов увидел в нем то, что не замечали другие режиссеры - большого художника, способного создавать глубокие и неоднозначные сценические образы. Ефим Копелян рассказывал: «Меня сделал Товстоногов. До сорока моих лет считалось, что у меня нет ни внешности, ни голоса, ни темперамента. Вместе с театром я много пережил: взлеты, падения, крах — перед приходом Товстоногова. Хемингуэй правильно писал, что человек один ничего не может. Нельзя сделать роль в одиночестве, без коллектива».

В первых спектаклях Товстоногова Копелян сыграл Макса Лескалье в постановке «Шестой этаж», Ведущего в постановке «Когда цветет акация» и Меркулова в «Метелице». Две следующие роли, также в спектаклях Товстоногова, Марио в постановке «Сеньор Марио пишет комедию» и Ильина в «Пяти вечерах» - относятся к самым значительным театральным работам Копеляна. Дуэт Ильина (Ефим Копелян) и Тамары (Зинаида Шарко) нравился зрителям. Сергей Юрский признавался: «Этот спектакль можно было слушать, как музыку». Зинаида Шарко, в свою очередь, рассказывала: «Копеляна иногда называли «нашим Жаном Габеном», находя, что он похож на французского актера и внешне, и масштабом личности. А я бы сказала: «Жан Габен – это их Фима Копелян!»

В начале 1950-х годов Копелян активно начал сниматься в кино. У Копеляна было много заметных ролей в фильмах того времени, в частности роль немецкого полковника в картине «Как Вас теперь называть?», в фильмах «Время, вперед!» и «Интервенция». Копелян запоминался даже в эпизодах, зрители мгновенно запоминали его.

Одной из первых заметных работ в кино для Копеляна стала роль в приключенческом фильме Кеосаяна «Неуловимые мстители», вышедшем на экраны СССР в 1966 году. Первоначально режиссер предполагал отдать Копеляну роль Сидора Лютого, но после проб артист стал батькой Бурнашем, который очень понравился зрителям, несмотря на то, что был отрицательным героем. Людмила Макарова рассказывала, что после выхода «Неуловимых» дети часто дразнили Ефима Захаровича Бурнашом, и бросались в него снежками. Образ удался, и в результате Копелян снимался во всех трех фильмах трилогии.

Среди самых заметных работ Копеляна 1960-х и 1970-х годов была роль генерала Сергеева в приключенческих лентах «Ошибка резидента» и «Судьба резидента». Так же Копелян сыграл Свидригайлова в картине «Преступление и наказание», Бобруйского-Думбадзе в фильме «Опасные гастроли», доктора Дорна в чеховской «Чайке», казачьего атамана Елисея Каргин в фильме «Даурия», Кафтанова в телесериале «Вечный зов» и Бурцева в «Повести о человеческом сердце». Одной из его лучших ролей в кино того времени стала роль Саввы Морозова в картине «Николай Бауман». Эта роль принесла Копеляну звание Лауреата Всесоюзного кинофестиваля в номинации «Премии за актерскую работу» за 1968 год. Всего Копелян снимался ежегодно в пяти-шести фильмах, а за всю свою карьеры сыграл более чем в 80 фильмах. О своих работах в кино Копелян говорил: «Я не могу сказать, что все сыгранное в кино доставило мне удовольствие. Скорее наоборот. Таких ролей очень немного, в их числе - роли в фильмах «Преступление и наказание», «Николай Бауман» и «Даурия».

Ефим Копелян часто читал закадровый текст и занимался дубляжом. Впервые голос Ефима Копеляна за кадром прозвучал в комедии Алексея Коренева «Адам и Хева». Позже он нередко озвучивал художественные, документальные и научно-популярные ленты. Глубокий и выразительный голос Копеляна читал текст от автора в фильмах «Семь нот в тишине», «Встречи с Горьким» и «Память». Блестящий талант Ефима Копеляна, как чтеца, раскрылся в знаменитом телесериале «Семнадцать мгновений весны». Можно с полной уверенностью сказать, что успех Штирлица Вячеслав Тихонов в равной мере разделил с Копеляном. Режиссер сериала Татьяна Лиознова собиралась без проб пригласить Копеляна в фильм на одну из ролей, но из-за ряда обстоятельств сняться Копеляну у Лиозновой не удалось. Татьяна Лиознова вспоминала: «Я позвонила в Ленинград и просила передать, что коленопреклоненно прошу его читать авторский текст. Работать с ним было наслаждением. Он приезжал и, хотя был только что с поезда, всегда успевал побриться и переодеться в белоснежную рубашку, ни разу не изменил себе. Мы стали соратниками. Его голос звучит так, будто он знает больше, чем говорит...» Коллеги, в частности, уговаривали Лиознову убрать сцену, в которой Штирлиц по-русски встречает праздник 23 февраля. Режиссер оставила эпизод в надежде, что выручит голос Копеляна. И не ошиблась. Ефим Копелян, приезжая на съемки, часто говори: «Я у вас не Ефим Захарович, а Ефильм Закадрович - я же все время за кадром». Но его роль в успехе фильма была огромна.