Родился 13 апреля 1913 года в селе Новотроицкое (ныне Ольгинский район Донецкой области). Окончил среднюю школу. С 5 ноября 1939 года в рядах Красной Армии, призван Ольгинским РВК. Окончил Батайскую военную авиационную школу и был оставлен в ней инструктором-лётчиком.

С 13 августа 1942 года лейтенант Г. С. Ольховский в действующей армии: в составе 49-го ИАП. Боевую работу начал на Западном фронте (в составе 234-й ИАД, 1-й Воздушной армии), летая на Ла-5. С 13 ноября 1942 года полк был передан в прямое подчинение штаба 1-й Воздушной армии, как Отдельный ИАП "воздушных охотников". С 28 декабря 1942 года действовал уже в составе 204-й БАД, как полк сопровождения. 21 февраля 1943 года передан в 309-ю ИАД.

В марте 1943 года старший лейтенант Г. С. Ольховский был переведён на должность командира звена в 272-й ИАП, который на тыловом аэродроме Кубинка (Московского военного округа) переучивался на новую технику. С 20 июля 1943 года приступил к боевой работе на Западном фронте (в составе той же 309-й ИАД, 1-й Воздушной армии), продолжая летать на Ла-5.

23 октября 1943 года заместитель командира эскадрильи, он же штурман эскадрильи 272-го истребительного авиационного полка (309-я истребительная авиационная дивизия, 1-я Воздушная армия, Западный фронт) старший лейтенант Г. С. Ольховский погиб в воздушном бою. Всего совершил более 50 боевых вылетов, в воздушных боях сбил лично 6 самолётов противника. Похоронен в братской могиле № 2 на западной окраине города Рудня (административный центр Руднянского района Смоленской области).

Награждён орденом Красного Знамени (21.09.1943).