Родился 20 июля 1938 года в Ленинграде, в семье писателя Юрия Германа и Татьяны Риттенберг. Благодаря отцу семья жила богато: прекрасная квартира, кухарка, личный шофер и няня. На время войны они переехали в Архангельск, где тоже были созданы хорошие условия. Тем не менее, в 1943 году мальчик заболел туберкулезом, но поправился еще до конца войны благодаря своевременному лечению.
Когда семья покинула Архангельск и поселилась в Комарово, Алексей пошел школу, сразу в третий класс. Воспитанный ребенок разительно отличался от большинства одноклассников, за что часто подвергался издевательствам с их стороны. Мальчик был рад, когда родители объявили о возвращении в Ленинград, но и там школа оказалась не лучше: слабых избивали, процветало воровство. Алексей поначалу прогуливал уроки, к пятому классу ситуация изменилась: он начал посещать секцию бокса и легко давал отпор обидчикам. Отныне школьная шпана добивалась его расположения. В семье благожелательно относились к новым друзьям, не подозревая об их истинном характере.
С раннего детства мальчик увлекался чтением, особенно приключенческими и фантастическими романами Жюля Верна, затем заболел театром и старался посмотреть все спектакли, какие только мог. Однако о профессии кинорежиссера не шло и речи: юноша хотел стать медиком. Однако на выбор жизненного пути оказало влияние мнение отца и его друзей-писателей: в 1955 году Герман подал документы на режиссерский факультет Ленинградского государственного института театра и музыки и поступил на курс Александра Музиля. В основном однокурсники были старше его, это подстегивало и побуждало работать над собой. Кроме того, молодой человек хотел доказать, что он не просто сын известного писателя, поступивший благодаря своим связям. Однажды преподаватель назвал работу Алексея образцовой, что добавило ему уверенности в себе. Первая сессия показала, что он один из лучших учеников курса. В качестве дипломной работы Герман поставил для телевидения акт из пьесы Евгения Шварца «Обыкновенное чудо». После этого молодой человек получил приглашение в Большой драматический театр имени Горького от главного режиссера Георгия Товстоногова.
В 1964 году Алексей приступил к работе в киностудии «Ленфильм». На съемках своего первого фильма «Рабочий поселок» он был вторым режиссером. В 1967 году последовала драма «Седьмой спутник». Ее Герман снимал уже в качестве сорежиссера вместе с Григорием Ароновым.
В это время он познакомился с будущей женой Светланой Кармалита, которая стала также и незаменимой помощницей мужа, его соавтором и киносценаристом. В 1976 году в семье родился сын, впоследствии он тоже выбрал режиссерскую стезю.
В 1971 году Алексей создал первую самостоятельную картину по повести Юрия Германа «Операция „С Новым годом”». Фильм позднее назвали «Проверка на дорогах», он увидел свет лишь спустя 14 лет. Картина была удостоена Государственной премии СССР. Известность пришла к режиссеру в 1976 году, сразу после выхода драматической ленты «Двадцать дней без войны», где главные роли исполнили Юрий Никулин и Людмила Гурченко.
Следующий фильм режиссера, «Мой друг Иван Лапшин», также экранизация повести Юрия Германа, появился только в 1984 году. Андрей Болтнев и Нина Русланова, исполнители ключевых ролей, были удостоены Государственной премии РСФСР имени братьев Васильевых, а Алексей получил несколько международных наград. Лента о последних днях сталинской эпохи «Хрусталев, машину!» принесла ему шесть премий «Ника». Сейчас Герман работает над экранизацией повести братьев Стругацких «Трудно быть богом». Рабочее название картины – «История арканарской резни».
С 1990 года Алексей является художественным руководителем собственной киностудии «Первого и экспериментального фильма» и мастерской Высших курсов сценаристов и режиссеров Госкино России.
