Родился 12 февраля 1908 года в селе Чичерино (ныне Волновахский район Донецкой области, ДНР). В начале 1920-х гг. перехал к брату в город Мариуполь. Окончил там 7 классов и школу фабрично-заводского ученичества (ФЗУ). Работал на железнодорожной станции Мариуполь, судах Азовского морского пароходства. Затем уехал на черноморское побережье Кавказа, где полгода работал охотником на дельфинов. С мая 1927 года в рядах Красной Армии. В 1928 году окончил Ленинградскую военно-теоретическую школу лётчиков, в 1929 году - Качинскую военную авиационную школу пилотов. Служил на Дальнем Востоке в истребительной авиации младшим и старшим лётчиком, командиром звена. С апреля 1934 года старший лейтенант А. А. Губенко - командир отряда 116-й ИАЭ (ВВС Московского военного округа). Вскоре был назначен инструктором по технике пилотирования бригады. С лета 1935 года участвовал в проведении войсковых испытаний истребителя И-16, за что был награждён орденом Ленина.

С 13 марта по 6 августа 1938 года принимал участие в Китайско-Японской войне: в составе Нанчанской истребительной авиационной группы (ВВС Гоминьдана), летал на И-16 и И-15бис. 29 апреля 1938 года в воздушном бою заметил, как японский истребитель преследует подбитый самолёт старшего лейтенанта Г. П. Кравченко. Несмотря на то, что боеприпасы к этому времени у него кончились, А. А. Губенко пошёл в атаку и отогнал японца. После этого сопровождал самолёт Г. П. Кравченко до места вынужденной посадки.

31 мая 1938 года старший лейтенант А. А. Губенко при отражении налёта японских самолётов на город Ханькоу при отказе пулемётов винтом таранил истребитель противника A5M2 (И-96), а сам благополучно приземлился на своём аэродроме. За этот подвиг был награждён Золотым орденом Китайской республики.

26 июня 1938 года, отражая очередной налёт японской авиации на Ханькоу, в первом бою сбил японский истребитель. Во втором бою вступил в бой с истребителями сопровождения и сам был сбит. Приземлился на парашюте возле своего аэродрома.

28 июня 1938 года вылетев на сопровождение звена бомбардировщиков СБ в район города Аньцин, старший лейтенант А. А. Губенко в воздушном бою один дрался с 3 японскими истребителями, чтобы помочь уйти повреждённому И-16 своего отряда, который был атакован самолётами противника сразу после бомбардировки СБ японских кораблей. Подтверждено, что в ходе этого боя А. А. Губенко удалось подбить (но не сбить) истребитель старшего лейтенанта Горо Ивасаки, который командовал звеном из 3-х палубных истребителей.

18 июля 1938 года, выручая товарищей, А. А. Губенко дрался с 6 истребителями противника. Сбив одного из них, невредимым вышел из боя.

Всего в небе Китая старший лейтенант А. А. Губенко совершил около 50 боевых вылетов, провёл 8 воздушных боёв, в которых сбил лично 6 самолётов противника и 1 повредил (в материалах наградного листа указывается на 7 личных побед). Указом Президиума Верховного Совета СССР от 22 февраля 1939 года удостоен звания Героя Советского Союза с вручением ордена Ленина.

После возвращения из Китая продолжал служить в ВВС. 8 августа 1938 года был назначен заместителем начальника ВВС Белорусского Особого военного округа. 31 марта 1939 года полковник А. А. Губенко погиб в авиационной катастрофе. Первоначально похоронен на Польском кладбище в Смоленске, 13 августа 1971 года перезахоронен в сквере Памяти Героев у Смоленской крепостной стены.

Имя Героя носят школа № 3 в Мариуполе и одна из школ в Смоленске. На здании ПТУ № 3 в Мариуполе, в котором он учился, установлена мемориальная доска. В городе Ханькоу (Китай) ему сооружён памятник.

Награждён орденами: Ленина (25.05.1936, 22.02.1939), Красного Знамени (14.11.1938).