Родился 27 августа 1919 года в городе Одесса (ныне областной центр Украины). В 1934 году окончил 7 классов школы. В 1934-1939 гг. работал слесарем на оптико-механическом заводе "Кинап", одновременно учился на вечернем рабфаке. В 1938 году окончил Одесский аэроклуб. С января 1939 года в рядах Красной Армии. В 1940 году окончил Одесскую военную авиационную школу лётчиков. Служил в ВВС Киевского особого военного округа.

С июня 1941 года младший лейтенант А. И. Горголюк на фронтах Великой Отечественной войны в должности лётчика 23-го ИАП (15-я САД). С августа 1941 года воевал в 180-м ИАП (22 ноября 1942 года преобразован в 30-й Гвардейский ИАП). Летал на МиГ-3, "Харрикейне" и "Аэрокобре". Сражался на Западном, Калининском, Юго-Западном и Центральном фронтах. 16 ноября 1941 года был сбит в воздушном бою, получил сильные ожоги, лечился в госпитале.

2 июня 1943 года командир звена 1-й эскадрильи 30-го Гвардейского истребительного авиационного полка (1-я Гвардейская истребительная авиационная дивизия, 16-я Воздушная армия, Центральный фронт) Гвардии старший лейтенант А. И. Горголюк снова был сбит в воздушном бою (район Курска), получил тяжёлое ранение лица и полностью потерял зрение. Всего совершил 376 боевых вылетов, провёл 48 воздушных боёв, в которых сбил лично 7 и в составе группы 6 самолётов противника (в наградном листе говорится о 8 личных и 5 групповых победах). Указом Президиума Верховного Совета СССР от 2 сентября 1943 года удостоен звания Героя Советского Союза с вручением ордена Ленина и медали "Золотая Звезда" (№ 1112).

Долгое время лечился в разных госпиталях. После выздоровления занимал нелётные должности в Управлении 11-й Гвардейской ИАД. С 7 мая 1946 года Гвардии капитан А. И. Горголюк - в отставке.

Окончил техникум. Более 40 лет проработал во Всероссийском обществе слепых (сначала в Аппарате общества, затем директором Республиканской студии ВОС и заместителем директора ИПТК "Логос" ВОС). Жил в Москве. Умер 7 мая 1993 года, похоронен на Кунцевском кладбище. На стене дома № 17 по улице Тверской (в котором жил Герой), установлена мемориальная доска.

Награждён орденами: Ленина (02.09.1943), Красного Знамени (28.03.1942, 26.05.1943), Отечественной войны 1-й степени (11.03.1985); медалями.