Родился 10 декабря 1922 года в селе Теряево (Волоколамский район Московской области). С 27 января 1941 года в рядах Красной Армии, призван Подольским РВК (Московская область). В 1943 году окончил Качинскую военную авиационную школу лётчиков. Затем проходил переучивание на новую технику в 8-м ЗИАП (ВВС Приволжского военного округа).

С 1 июня 1943 года младший лейтенант А. А. Рабинов в действующей армии. Воевал в составе 866-го ИАП (288-я ИАД). Прошёл путь от рядового пилота до командира звена. Сражался на Юго-Западном и З-м Украинском фронтах. Летал на Як-1, Як-7, Як-9 и Як-3. 21 июля 1943 года был легко ранен.

К 9 мая 1945 года командир звена 866-го истребительного авиационного полка (288-я истребительная авиационная дивизия, 17-я Воздушная армия, 3-й Украинский фронт) старший лейтенант А. А. Рабинов совершил 233 боевых вылета, в 44 воздушных боях сбил лично 9 самолётов противника.

После окончания войны продолжал служить на различных должностях в ВВС. С 12 июня 1958 года подполковник А. А. Рабинов - в запасе.

Награждён орденами: Красного Знамени (17.08.1943, 30.05.1944), Отечественной войны 1-й степени (13.04.1945), Отечественной войны 2-й степени (14.06.1945), Красной Звезды (24.07.1943, 22.02.1955, 30.12.1956); медалями, в том числе "За боевые заслуги" (17.05.1951).