Подростком устроился работать на завод ЗИЛ. В то же время учился в автомеханическом техникуме и занимался в театральном кружке заводского клуба.
В ГИТИС Щербакова взяли сразу на второй курс. После окончания ВУЗа Пётр Иванович три года жил в Германии, где работал в труппе театра Советских войск.
Затем артисту посчастливилось попасть в труппу «Современника», где он стал главой парторганизации. На сцене «Современника» Щербаков сыграл множество великолепных ролей. Чего только стоит роль Кинди в постановке «Без креста»! Через некоторое время Пётр Иванович ушёл работать во МХАТ, где к тому моменту уже служили его закадычные друзья Евгений Евстигнеев и Олег Ефремов.
Самой первой киноработой молодого артиста стала роль Иона в фильме «Пе-коптер (На печь)». Затем он принял участие в таких лентах, как «Они встретились в пути», «Повесть о первой любви» и «Страницы былого». В 1958 году на экраны советских кинотеатров вышла военная драма Юрия Егорова «Добровольцы», роль в которой принесла Щербакову славу и популярность. В фильме приняли участие и такие известные актёры, как Михаил Ульянов, Леонид Быков и Нонна Мордюкова.
В шестидесятые годы актёр снимался много и часто. Он сыграл в следующих картинах: «Битва в пути», «Им покоряется небо», «Первый день мира», «Мне двадцать лет», «Строится мост», «Тридцать три», «Иду искать», «Весна на Одере», «Хроника пикирующего бомбардировщика», «Освобождение: Огненная дуга» и «Золотые ворота».
Пётр Иванович Щербаков запомнился зрителям по ролям в таких знаковых лентах семидесятых, как «Служебный роман», «Двенадцатая ночь», «Дни Турбиных», «Лев Гурыч Синичкин», «Следствие ведут знатоки: До третьего выстрела», «Гараж» и «Большая перемена».
Новый виток популярности актёру принесли его роли в фильмах восьмидесятых. Многие помнят его по блистательно созданным образам в «Зимнем вечере в Гаграх», «Дорогом удовольствии», «Городе Зеро», «Мы из джаза», «И жизнь, и слезы, и любовь».
Пётр Иванович Щербаков ушёл из жизни 16 марта 1992 года.
