Родился 13 декабря 1927 года в селе Алексеевское, Северный Казахстан.Отец Леонида Маркова был актёром провинциального театра, мать – гримёром. Уже в детстве Леонид сыграл в спектакле «Хижина дяди Тома», это была первая его роль. После окончания Вологодской школы вместе с сестрой Риммой Марковой он поступил в студию Вологодского драматического театра (руководитель Лия Ротбаум). В 1947 году двадцатилетний Леонид и его сестра поступили в московскую театральную студию, а затем в Театр Ленинского комсомола. Брату с сестрой пришлось нелегко: жили они впроголодь, ночевали на вокзале или в подсобке театра.В 1947-1960 годах Леонид Марков работал в Театре Ленинского комсомола, там он играл в спектаклях «Сирано де Бержерак», «Честь смолоду», «Живой труп», «Мужество», «Фабричная девчонка», «Первая конная», «Святая Жанна», «Утраченные иллюзии», «Вишнёвый сад» и других. Затем Леонид Марков работал в Театре имени Пушкина. Он принимал участие в постановках «Высшее существо», «Столпы общества», «Романьола», «День рождения Терезы».
В 1966 году актёр перешёл в Театр имени Моссовета. Леонид Марков играл в постановках по произведениям Тургенева, Чехова, Лермонтова, Толстого, Достоевского… Актёр принял участие и в триумфальном спектакле Романа Виктюка «Царская охота» вместе с Маргаритой Тереховой. Театры буквально дрались за актёра, уговаривая его работать именно у них. Леонид Марков решил перейти в Малый театр (здесь он играл главную роль в спектакле «Зыковы»), однако меньше чем через год вернулся в труппу «Моссовета».
Леонид Марков блестяще играл на сцене, а вот с кинематографом у него поначалу не складывалось. Только в 1971 году Леонид Марков снялся в мелодраме «Русское поле», которая принесла ему всесоюзную известность. В конце 70-ых – начале 80-ых годов актёр создал целую галерею запомнившихся ролей в фильмах «Гараж», «Коней на переправе не меняют», «Полёт с космонавтом», «Мать Мария». Самая известная работа Леонида Маркова – роль Урбенина в драме «Мой ласковый и нежный зверь» Эмиля Лотяну. Актёр также запомнился зрителям по кинолентам «Наследство», «Красное и чёрное», «Следствие ведут знатоки», «Змеелов», «Долги наши».
С 1954 по 1990 год он участвовал в записях порядка сотни радиопостановок: «В зимнем лесу», «В гимназии», «Королёв и Гагарин», «Первая любовь» и многих других.
Со своей четвёртой женой актёр прожил двадцать лет. Леонид Марков умер от рака 2 марта 1991 года, он был похоронен на Кузьминском кладбище.
