Рыбак родился 3 октября 1946 года в Донецке, украинец. Женат на Альбине Ивановне - вице-президенте благотворительного фонда. Есть двое детей: сын Александр (1969) - руководитель коммерческой структуры; дочь Наталья (1976) - работник банковского учреждения.
Рыбак стоял у истоков создания Партии регионов. В 1997 году он возглавил Партию регионального возрождения Украины, которая в 1999 объединилась с несколькими центристскими партиями и создала Партию регионов. С 2001 года Рыбак занимал должность заместителя председателя Партии регионов, в 2010 году он был назначен первым заместителем председателя Партии регионов Украины.
Во время третьего созыва парламента Рыбак успел поменять несколько фракций: он был членом фракции НДП (1998-1999), членом группы Возрождение регионов (1999-2000), руководителем группы Регионы Украины (2001), лидером фракции Регионы Украины (с 2001). В парламенте четверого, пятого и шестого созывов Рыбак входил во фракцию Партии регионов.
13 декабря 2012 года Рыбак возглавил пост спикера парламента.
