Пётр Щербаков родился в деревне Поздняково Калужской губернии, в рабочей семье двадцатипятитысячника. После Великой Отечественной войны семья Петра переехала в Москву. Отец работал на ЗИЛе, куда со временем пришёл и Пётр. Работал в конструкторском бюро штамповочно-механического цеха, а вечерами учился в автомеханическом техникуме. Получил диплом с отличием и без экзаменов перешёл во ВТУЗ. В свободное от учёбы и работы время занимался в театральном кружке заводского клуба, куда его убедили записаться старшие сёстры.

В театральный институт Пётр Щербаков попал совершенно случайно: во время прогулки, переступив порог ГИТИСа со словами: «Пускай ваши специалисты меня посмотрят. Если для театра не гожусь, так и скажите. Я не Катерина, в Волгу не брошусь». И ему в просьбе не отказали, посмотрели. Так как в тот год в ГИТИСе был набор только на режиссёрский факультет, Петра взяли сразу на второй курс института, который он окончил в 1955 году. При этом ему пришлось во время учёбы сдавать экзамены по предметам за первый курс.

Пётр Иванович служил в театре группы Советских войск в Германии (1953—1956), московском театре «Современник» (1958—1985), МХАТе (1985—1991).

Дебютировал в кино в 1956 году. Актера прославил образ метростроевца Славки Уфимцева в ленте Юрия Егорова «Добровольцы» (1958). Кинороман по одноимённому роману в стихах Е. А. Долматовского превратился в романтическое повествование о комсомольцах 1930-х годов. Петр Щербаков, Михаил Ульянов и Леонид Быков нашли в картине для своих героев подлинно человеческие краски, нужную степень характерности того поколения.

Много и успешно снимавшийся актёр, несмотря на то, что ему часто доставались интересные по материалу и большие по объёму роли, был всегда как бы на втором плане. Этому способствовали и особая манера игры — сдержанная, неброская — и своеобразный, очень сильный темперамент, который, однако, редко выплескивался наружу — крупная внушительная фигура актёра словно светилась от скрытой силы и страсти. Актёра охотно приглашали известные режиссёры. Особенно запомнились зрителям его роли в фильмах «Золотые ворота» Ю. Солнцевой, «Битва в пути» и «Дни Турбиных» В. Басова, «Служебный роман» и «Гараж» Э. Рязанова, «И жизнь, и слёзы, и любовь» Н. Губенко, «Зимний вечер в Гаграх», «Мы из джаза» и «Город Зеро» К. Шахназарова. И хотя путь его в искусстве последователен и органичен, материал для того, чтобы раскрылся его очень необычный талант, встречался Щербакову не часто. Между тем, по выражению его друга, Е. Евстигнеева, «это очень высокий памятник».

Во всех воспоминаниях Пётр Щербаков — душа компании, товарищ, для которого дружба — превыше всего. Пётр Иванович был замечательным семьянином. Его первая жена, Нина, умерла, когда их сын был ещё младенцем. С двух лет Андрюшу воспитывала Валентина Ивановна, став ему настоящей мамой. Пётр Иванович старался не расставаться с ними никогда, по возможности возил с собой на съёмки. Андрей вырос, поступил в студию МХАТ к Олегу Табакову. Но на втором курсе сорвался с места и уехал с друзьями-циркачами в Америку и довольно успешно работает на Бродвее.

Скончался 16 марта 1992 года. Похоронен на Ваганьковском кладбище.