Олег Андреевич родился 20 июля 1930 года в городе Геленджик. Чета Анофриевых жила в Москве, но момент рождения мальчика совпал с командировкой отца, путешествовавшего в сопровождении супруги. Анофриев-старший работал врачом, а мать Олега полностью посвятила себя домашним обязанностям. Вскоре после рождения сына семья вернулась в столицу, где прошло все детство Олега. Дед мальчика состоял старостой в одном из московских храмов и придерживался очень строгих правил. Он вырастил шестнадцать детей, включая отца Олега, который так же серьезно подходил к воспитанию своего сына. Однако, несмотря на показную суровость, его методы наказания отличались своеобразностью. Как позже признавался сам актер, отец отводил его в маленькую комнату, закрывал дверь и создавал видимость жестокой порки. «Он говорил мне: "Кричи". И я кричал: "Не бей меня, папа!"». Время, на которое пришлось детство Анофриева, было не из легких. Строить из себя воспитанного мальчика считалось дурным тоном. Будущий артист застал войну, глобальную разруху, проблемы с продовольствием. В одном из интервью Олег Андреевич вспоминал, как вместе со сверстниками ловил в Москве-реке моллюсков, называемых беззубками, варил их и ел. Не брезговали ребята ловить и городских птиц.
В школьные годы Анофриев посещал драматический кружок, где ему доставались типажные комедийные роли. Именно здесь он в полной мере осознал суть актерской профессии, которая, вопреки детскому представлению, заключалась не в костюмах, кривляньях и декорациях. В начале пятидесятых молодой человек поступил в Школу-студию МХАТ. В 1954 году он с успехом окончил курс Сергея Капитоновича Блинникова и Георгия Андреевича Герасимова. Сразу после выпуска молодой актер присоединился к труппе Центрального детского театра, на тот момент одного из самых популярных в Москве. Через пять лет Анофриева пригласили в постоянный состав Театра имени Владимира Маяковского. Вскоре по стечению обстоятельств Олег Андреевич перешел в труппу Театра имени Моссовета, но и здесь он задержался ненадолго. Следующим пунктом назначения стал Театр-студия киноактера при «Мосфильме». С этого момента карьера Анофриева получила активное развитие: он принимал участие в озвучивании, киносъемках, давал эстрадные концерты, работал на радиостанциях, сочинял музыку и, конечно, играл на театральной сцене. За свой продолжительный творческий путь Анофриев исполнил более шестидесяти ролей в кино, сотрудничая с такими режиссерами, как Ролан Быков, Леонид Гайдай, Вадим Абдрашитов, Алла Сурикова, Светлана Дружинина.