Родился 12 февраля 1908 года в селе Чичерино (ныне Волновахский район Донецкой области Украины). В начале 1920-х гг. перехал к брату в город Мариуполь. Окончил там 7 классов и школу фабрично-заводского ученичества (ФЗУ). Работал на железнодорожной станции Мариуполь, судах Азовского морского пароходства. Затем уехал на черноморское побережье Кавказа, где полгода работал охотником на дельфинов. С мая 1927 года в рядах Красной Армии. В 1928 году окончил Ленинградскую военно-теоретическую школу лётчиков, в 1929 году - Качинскую военную авиационную школу лётчиков. Служил на Дальнем Востоке. С апреля 1934 года старший лейтенант А. А. Губенко - командир отряда 116-й ИАЭ (ВВС Московского военного округа). Вскоре назначен инструктором по технике пилотирования бригады. С лета 1935 года участвовал в проведении войсковых испытаний истребителя И-16, за что был награждён орденом Ленина.

С 13 марта по август 1938 года принимал участие в Китайско-Японской войне. Воевал в составе Нанчанской истребительной авиационной группы, летал на И-16 и И-15бис. Согласно историко-публицистической литературе, 31 мая 1938 года старший лейтенант А. А. Губенко при отражении налёта японских самолётов на город Ханькоу таранным ударом сбил истребитель противника A5M2 (И-96), а сам благополучно приземлился на своём аэродроме (данными документов Архивов МО РФ не подтверждается).

26 июня 1938 года, отражая очередной налёт японской авиации на Ханькоу, вступил в бой с истребителями сопровождения и был сбит. Приземлился на парашюте возле своего аэродрома. Всего совершил около 50 боевых вылетов, провёл 8 воздушных боёв, в которых сбил лично 6 самолётов противника. Указом Президиума Верховного Совета СССР от 22 февраля 1939 года удостоен звания Героя Советского Союза.

После возвращения из Китая продолжал служить в ВВС. 8 августа 1938 года назначен заместителем начальника ВВС Белорусского Особого военного округа. 31 марта 1939 года полковник А. А. Губенко погиб в авиационной катастрофе. Первоначально похоронен на Польском кладбище в Смоленске, 13 августа 1971 года перезахоронен в сквере Памяти Героев у Смоленской крепостной стены. Имя Героя носят школа № 3 в Мариуполе и одна из школ в Смоленске. На здании ПТУ № 3 в Мариуполе, в котором он учился, установлена мемориальная доска. В городе Ханькоу (Китай) ему сооружён памятник.

Награждён орденами: Ленина (__.05.1936, 22.02.1939), Красного Знамени (14.11.1938).