В возрасте десяти лет Анатолий лишился матери и переехал жить к бабушке. С ранних лет он начал проявлять творческие способности: участвовал в школьной художественной самодеятельности, занимался вокалом, хореографией и посещал драматический кружок. После окончания школы работал лаборантом. В 1954 году перебрался в Салават. Там Анатолий Грачев работал слесарем-монтажником. В 1955 году приехал в Москву и поступил на курс Раевского в ГИТИС. Будучи еще студентом, он стал актером Московского драматического театра на Спартаковской площади.
Поначалу артист играл эпизодические роли и принимал участие в массовках. Первой серьезной ролью стал образ Саввы Лычанова из постановки М. М. Буткевича «Комедия о Фроле Скобееве». Затем Грачев отметился ролями в таких спектаклях, как «Девятый вал», «Жив человек», «Мятеж неизвестных», «Вид с моста», «Как вам это понравится» и «Один год». За свою театральную карьеру артист успел поработать с режиссерами С. А. Барканом, И. Судаковой, В. Крамовым и О. Я. Ремезом.
С 1967 года Анатолий Грачев начал работать под руководством легендарного постановщика А. В. Эфроса. Этот период критики отмечают как пик актерской карьеры Анатолия Дмитриевича. Первой совместной работой Эфроса и Грачева стал спектакль «Ромео и Джульетта». Затем были «Сказки Старого Арбата», «Дон Жуан», «Месяц в деревне» и «Дорога».
Дебютировал в кино в 1961 году в картине Бориса Барнета «Аленка». Затем фильмография артиста пополнилась ролями в таких лентах, как «Любимая», «Весна на Одере», «Следствие ведут знатоки: Повинную голову», «Будденброки», «Мальчишку звали Капитаном», «Олег и Айна», «Человек со стороны», «Слово для защиты», «... И другие официальные лица», «Судьба барабанщика», «Тайна Эдвина Друда», «Женщины, которым повезло» и «Мелочи жизни».
С начала 90-х Анатолий Грачев практически не снимался в кино. За десятилетие он появился всего в двух картинах с разницей в девять лет («Враг народа Бухарин» и «Ужин в четыре руки»).
В 2001 году он принял участие в телесериале «Саломея», а в 2003 году сыграл министра Канкрина в многосерийной мелодраме «Бедная Настя».
Анатолий Грачев скончался 20 мая 2005 года.
