Звягильский родился 20 февраля 1933 в Донецке. В 1956 закончил горный факультет Донецкого индустриального института по специальности горный инженер.

С 1957 по 1970 Звягильский прошел карьерную лестницу от помощника начальника угольного участка до начальника шахты №13 треста Куйбышевуголь в Донецке. С 1970 по 1979 год работал директором шахтоуправления Куйбышевская, а до 1992 года был директором Шахты имени Засядько.

В марте 1990 член КПСС Ефим Звягильский был избран народным депутатом от одномандатного избирательного округа №112. Параллельно к этому он в течение еще двух лет оставался на своей старой работе на Шахте имени Засядько, а в ноябре 1992 был избран председателем донецких горсовета и горисполкома.

В июне 1993 Звягильский был назначен первым заместителем премьер-министра в кабинете Леонида Кучмы. 22 сентября того же года после отставки последнего, Звягильскому поручили исполнять обязанности премьер-министра.

На парламентских выборах в марте 1994 Звягильский вновь был избран депутатом Верховной Рады, однако на этот раз от одномандатного избирательного округа №110 и как беспартийный.

Звягильский стал одним из лидеров Партии регионов на Донбассе и на парламентских выборах в 2002 был избран народным депутатом в четвертый раз. В 2006 он в пятый раз подряд стал членом украинского парламента (№9 избирательного списка Партии регионов). Спустя полтора года Звягильский снова стал депутатом Верховной Рады.

В 2012 году он прошел в парламент, победив в округе в Донецке. Таким образом, он стал одним из двух депутатов, которые работали во всех созывах украинского парламента.