Леонид Харитонов родился в Ленинграде. Мать работала врачом, отец — инженером. Младший брат Виктор Харитонов.

Во время военной блокады Ленинграда от голода иногда Леониду приходилось есть мыло, из-за этого позднее у него появилась язва желудка.

После школы поступил на юридический факультет Ленинградского университета. Через год решил посвятить себя актёрской карьере, о которой мечтал с детства.Поступил в Школу-студию им. В. И. Немировича-Данченко при МХАТ, которую окончил в 1954 году. В 1954—1962 и с 1963 — артист МХАТ имени М. Горького, в 1962—1963 — Театра имени Ленинского Комсомола и МДТ имени А. С. Пушкина.

Первая же роль в кино в фильме «Школа мужества» принесла Леониду Харитонову славу. Он снялся в нём ещё будучи студентом, в 1954 году. В Школе-студии существовало твёрдое правило: студенты, снимающиеся в кино, автоматически исключались из этого заведения. Поэтому перед съемками фильма Харитонов отказался от предложения режиссёра Владимира Басова. Но в Школу-студию пришло официальное письмо из ЦК ВЛКСМ, и руководство разрешило студенту Леониду Харитонову принять участие в съёмках фильма «Школа мужества».

Через год на экраны страны вышел фильм «Солдат Иван Бровкин», после которого молодой актёр стал кумиром поколения. За несколько лет вышло около десяти картин с Харитоновым в главной роли. Он создал образ нового социального героя — доброго, скромного, обаятельного и «слегка непутёвого». Персонажи Харитонова не только воспитывали, но и веселили, за что актёра любили зрители всех поколений.

С возрастом Харитонов всё меньше появлялся на экране. Снялся в эпизоде фильма Владимира Меньшова «Москва слезам не верит», где перед входом в Театр киноактёра героиня Ирины Муравьёвой воскликнула: «Ой, Харитонов!!!»

В последние годы Харитонов тяжело болел. Летом 1980 года перенёс первый инсульт. Снялся в эпизоде фильма «Чародеи» в роли Аматина. 4 июля 1983 года последовал второй инсульт. Летом 1987 года новый художественный руководитель МХАТа Олег Ефремов в резкой форме предложил Харитонову уйти из театра, был пущен слух о якобы психическом заболевании актера.

20 июня 1987 года, в день разделения театра на две части, у Харитонова случился третий инсульт, в тот же день он скончался. Похоронен в Москве, на Ваганьковском кладбище (50 уч.). Надгробие представляет собой камень с разломом в виде мхатовской чайки, символизирующий раскол МХАТа с надписью «Леонид Харитонов».