Родился 1 июня 1914 года в городе Гомеле (Гомельская область Республики Беларусь). Окончил 7 классов, авиационный техникум (в 1935 году) и Батайскую авиационную школу Гражданской авиации (в 1937 году). С 15 мая 1940 года в рядах Красной Армии. В 1941 году окончил Херсонскую военную авиационную школу лётчиков.

С июня 1943 года лейтенант А. С. Гинзбург на фронтах Великой Отечественной войны в составе 239-го ИАП (19 августа 1944 года преобразован в 181-й Гвардейский ИАП). Прошёл путь от рядового пилота до командира эскадрильи. Сражался на Северо-Кавказском, Воронежском, 1-м Украинском и 4-м Украинском фронтах. Летал на Ла-5 и Ла-7. В боях был дважды ранен (в июле 1943 года и январе 1944 года).

К 9 мая 1945 года командир 2-й эскадрильи 181-го Гвардейского истребительного авиационного полка (15-я Гвардейская истребительная авиационная дивизия, 8-я Воздушная армия, 4-й Украинский фронт) Гвардии капитан А. С. Гинзбург совершил 156 боевых вылетов, в 24 воздушных боях сбил лично 9 самолётов противника.

После окончания войны продолжал служить в ВВС. В 1947 году был признали негодным к лётной работе, перешёл на штабную. С 5 августа 1961 года Гвардии подполковник А. С. Гинзбург - в отставке. Умер 23 февраля 1992 года. Похоронен в городе Иванове (Ивановская область).

Награждён орденами: Красного Знамени (22.01.1944), Александра Невского (22.05.1945), Отечественной войны 1-й степени (12.08.1944, 11.03.1985), Красной Звезды (21.06.1943, 30.12.1956); медалями, в том числе "За боевые заслуги" (15.11.1950).