Знаменитый актер ушел на фронт добровольцем в июне 1941 года. Поскольку он получил профессионально-техническое образование, его направили в Московское военно-инженерное училище учиться саперному делу.
После его окончания в декабре 1941 года Зиновию Ефимовичу присвоили звание младшего лейтенанта и назначили командиром саперного взвода 81-го гвардейского стрелкового полка 25-й гвардейской стрелковой дивизии.
Боевое крещение Гердт принял в августе 1942 года в боях у села Сторожевое 1-е на правом берегу Дона. В январе следующего года он участвовал в подготовке наступательной Острогожско-Россошанской операции — разминировал советские минные поля для прохода пехоты и техники.
«Моя дорогая! — писал Зиновий Ефимович жене 29 января 1943 года. — Не дивись, что редко пишу: время — кипяток! Двигаем на запад, пленные тучами. Трофеев до черта, освободили уйму населенных пунктов. Население встречает здорово».
3-го февраля под городом Старый Оскол полк Гердта попал под мощный удар противника. Двое суток до подхода подкреплений будущий актер с сослуживцами отражали немецкие атаки.
Спустя неделю начальника инженерной службы полка Зиновия Гердта тяжело ранили в ногу под Харьковом. Ему пришлось пережить 11 операций, в результате которых поврежденная нога стала на 8 см короче. Всю жизнь из-за этого артист сильно хромал.
В 1947 году Гердта наградили орденом Красной Звезды.