Сначала будущий актёр учился в фабрично-заводском училище при Московском электрозаводе имени Куйбышева, окончив его в 15 лет, он начал работать на должности слесаря-электрика на Метрострое. В тот период он впервые вышел на сцену, будучи актёром театра рабочей молодёжи при заводском клубе. А в 1937 году Гердт был принят в труппу Театра кукол при Московском Доме Пионеров.
В 1941 году, когда началась война, Зиновий Ефимович ушёл на фронт добровольцем, где воевал в звании старшего лейтенанта в сапёрной роте. Но в начале 1943 года его тяжело ранили, в результате операции, которая сохранила ему жизнь, он навсегда остался хромым. Казалось бы, на этом можно было поставить точку в актёрской деятельности, но артист нашёл выход.
С 1945 до 1982 года, почти сорок лет, Зиновий Гердт работал в Центральном театре кукол, которым руководил Образцов. Именно там Гердт научился виртуозному звукоподражанию, которое прославило его на весь мир, ведь театр объездил не одну страну, в каждой из которых его ждал аншлаг. Именно тогда Гердт встретил свою будущую жену Татьяну Правдину. Позднее, в 1983 году, артист начал работать в труппе Театра имени Ермоловой. Но помимо театра, в его жизни оставалось место и другим занятиям – он стал первым ведущим телепередачи «Кинопанорама», много работал на радио и телевидении.
Отношения с кино сначала не складывались: первое время он занимался дубляжом, периодически появляясь в эпизодах. Но режиссёрам всё же удалось разглядеть его огромный потенциал, поэтому в шестидесятых одна за другой вышли на большой экран картины «Фокусник» и «Золотой телёнок», в обеих Зиновий Ефимович сыграл главные роли. Потом было много других работ, всего в послужном списке актёра более ста ролей.
Зиновий Гердт скончался 18 ноября 1996 года.
