Сергей Яковлев с детства грезил сценой, но сложные жизненные обстоятельства (и в первую очередь Вторая мировая война) позволили ему окончить ГИТИС только в 1952 году. В том же 1952 году Сергей устроился в Центральный дом культуры железнодорожников, став актером драматического театра. Проработав там какое-то время, в 1957 году Сергей Яковлев перешел в театр на Малой Бронной. В 1966 году Сергей Сергеевич переехал в Москву, там вошел в труппу театра Ленинского комсомола, а в 1971 году устроился в Театр-студию киноактера.
Первой работой Сергея Яковлева в кино стала роль Василия Кругликова в картине 1956 года «Долгий путь». Карьера Сергей складывалась непросто ввиду того, что актер был чрезвычайно разборчив при выборе ролей и отказывался от многих проектов. Как признавался сам актер, ему неинтересно играть «обычных» персонажей, без глубокого характера и своеобразного «надлома» в личности.
Благодаря такому подходу фильмография Сергея Яковлева буквально пестрит ярчайшими ролями в картинах «Тени исчезают в полдень», «Дом с мезонином», «Коммунист», «Экипаж», «Москва-Генуя», «Профессия — следователь», «Восхождение», «Единожды солгав», «Хождение по мукам: сестры», «Академик из Аскании», «Мать и мачеха», «Взорванный ад», «Пять дней, пять ночей», «Щит и меч», «Восемнадцатый год», «Тревожные ночи в Самаре».
Мало кто знает об увлечении Сергея Сергеевича живописью. В свое время квартира актера в одном из переулков Арбата была самой настоящей галереей, в которой были собраны картины самых разных направлений и жанров. Пробовал себя Сергей Яковлев и в писательстве. Его роман, написанный в соавторстве с супругой, получил название «Переворот». Впоследствии по этой книге был составлен сценарий, постановкой которого занимался сам Сергей Яковлев.