В 1945 году поступил в Школу-студию МХАТ на актёрский факультет. По окончании МХАТа в 1949 году Ефремов стал работать актёром в Центральном детском театре. Первой главной работой на сцене детского театра стала для артиста роль Ивана-дурака в постановке «Конёк-горбунок».
На сцене ЦДТ Ефремов проработал семь лет и сыграл за это время более двадцати ролей. В 1955 году Олег Николаевич впервые выступил в качестве режиссёра. Он поставил на сцене ЦДТ комедию «Димка–невидимка».
В 1959 году Олег Ефремов вместе с Евгением Евстигнеевым, Галиной Волчек, Олегом Табаковым, Игорем Квашой и другими создал театр «Современник».
«Современник» открылся спектаклем «Вечно живые» и завоевал статус одного из самых легендарных и престижных театров.
За годы работы в «Современнике» Олег Николаевич поставил такие спектакли, как «Голый король», «Назначение», «Всегда в продаже», «Традиционный сбор», «Декабристы», «Народовольцы» и «Большевики».
Дебютом молодого артиста в кино стала роль в мелодраме Михаила Калатозова «Первый эшелон». Ему досталась одна из главных ролей, с которой он без труда справился. С тех пор он начал сниматься в кино регулярно и в разных ролях – от крупных до эпизодических, но неизменно запоминающихся. Зрители прекрасно помнят актёра Олега Ефремова по ролям в таких кинокартинах, как «Испытательный срок», «Любушка», «Командировка», «Живые и мёртвые», многосерийной киноэпопее «Война и мир», «Звонят, откройте дверь» и, конечно, «Берегись автомобиля».
«Берегись автомобиля» – комедия Эльдара Рязанова, вышедшая в 1966 году. Простая история и превосходный актёрский состав в лице Олега Ефремова, Иннокентия Смоктуновского и Андрея Миронова сделали этот фильм одним из самых значимых в отечественном кинематографе.
Позднее Ефремов ещё принял участие во множестве превосходных лент, среди которых: «Три тополя на Плющихе», «Айболит-66», «Мама вышла замуж», «Бег», «Гори, гори, моя звезда», «Вся королевская рать», «Золотая мина», «Продлись, продлись, очарование...».
Олег Ефремов скончался 24 мая 2000 года.