Родился 20 апреля 1913 года в городе Ораниенбаум (ныне - Ломоносов, Ленинградской области). В 1930 году окончил 9 классов школы. Работал бетонщиком в 24-м УВСР (в Ленинграде) и чернорабочим на заводе "Красная заря". В августе 1933 года окончил Школу пилотов Осоавиахима (в Ленинграде), в мае 1934 года - Центральную лётно-инструкторскую школу Осоавиахима (в Тушино). Работал инструктором-лётчиком в аэроклубе завода № 1. С 20 апреля 1934 года - пилот в Аэрографическом институте Гражданского Воздушного Флота. С ноября 1936 года - инструктор-лётчик Центрального аэроклуба имени Чкалова (в Москве), подготовил около 40 лётчиков. С 1 декабря 1939 года в рядах Военно-Морского Флота. Служил в составе 5-го ИАП ВВС КБФ (лётчик, старший лётчик, командир звена).

Участник Советско-Финляндской войны с 1 декабря 1939 года по 12 марта 1940 года в составе 5-го ИАП КБФ (61-я ИАБР ВВС КБФ). Летал на И-16, воздушных побед не имел. Награждён орденом Красного Знамени.

С 22 июня 1941 года лейтенант Г. Д. Костылев на фронтах Великой Отечественной войны в должности заместителя командира эскадрильи 5-го ИАП (18 января 1942 года преобразован в 3-й Гвардейский ИАП) КБФ. Летал на И-16, МиГ-3, ЛаГГ-3 и "Харрикейне". С 24 января 1942 года - командир звена. 5 февраля 1942 года был сбит в воздушном бою. Раненый в руку, сумел воспользоваться парашютом.

К апрелю 1942 года командир звена 3-го Гвардейского истребительного авиационного полка (61-я истребительная авиационная бригада, ВВС Балтийского флота) Гвардии старший лейтенант Г. Д. Костылев совершил 233 боевых вылета, провёл 59 воздушных боёв, сбил лично 1 и в составе группы 25 самолётов противника (в наградном листе говорится о 1 личной и 26 групповых победах). За эти подвиги представлен к высшей награде страны. С июля 1942 года - командир эскадрильи. Указом Президиума Верховного Совета СССР от 23 октября 1942 года удостоен звания Героя Советского Союза с вручением ордена Ленина и медали "Золотая Звезда" (№ 654).

С 10 октября 1942 года - командир 12-й ОКИАЭ КБФ, где летал на МиГ-3 и И-16. С 24 января 1943 года - командир 3-й эскадрильи 3-го Гвардейского ИАП КБФ, летал на ЛаГГ-3.

В конце февраля 1943 года Г. Д. Костылев во время предоставленного ему отпуска поехал к матери, которая жила в блокадном Ленинграде. То, что он там увидел, поразило его. Незадолго до возвращения в свою часть он познакомился с одним тыловым майором, который пригласил известного лётчика на встречу. Каково же было удивление Костылева, когда он увидел богато обставленную квартиру и стол, ломившийся от еды и изысканного алкоголя. Возмущённый лётчик отчитал майора, а когда тот схватился за пистолет, забрал у него оружие и пару раз хорошенько ударил. Перебив в гневе часть посуды, расстроенный лётчик покинул этот дом. Вскоре после возвращения в часть Г. Д. Костылева арестовали и судили. Он был разжалован до рядового, лишён всех наград и отправлен в штрафной батальон. Воевал в пехоте на Ораниенбаумском плацдарме. В свою авиацию вернулся только 20 апреля 1943 года. Служил младшим лётчиком 4-го Гвардейского ИАП КБФ, где летал на Ла-5. 27 апреля 1943 года назначен командиром звена. 29 мая 1943 года восстановлен в воинском звании "Гвардии капитан" и назначен на должность командира 3-й эскадрильи.

С 25 августа 1943 года - старший инспектор-лётчик Отдела боевой подготовки Управления ВВС КБФ. 23 июня 1944 года вернулся в 4-й Гвардейский ИАП КБФ (помощник командира по лётной подготовке и воздушному бою). С 15 ноября 1944 года - на такой же должности в 3-м Гвардейском ИАП КБФ, летал на Ла-5 и Ла-7. 16 января 1945 года присвоено воинское звание "Гвардии майор".

Всего совершил 418 боевых вылетов, провёл 112 воздушных боёв, в которых сбил лично 10 и в составе группы 33 самолёта противника (в последней боевой характеристике от 1944 года говорится о 9 личных и 34 групповых победах). Его истребитель Ла-5 был выставлен в Музее обороны Ленинграда (вместе с И-16 А. Г. Ломакина и Як-7 П. А. Покрышева).

1 февраля 1945 года направлен на Высшие офицерские курсы ВВС ВМФ (город Моздок). С 26 июля 1945 года - помощник командира 3-го Гвардейского ИАП (город Либава). 31 июля 1946 года уволен в запас. С 1 ноября 1946 года по 1 мая 1947 года работал директором пивоваренного завода № 3 в городе Риге. С 24 июня 1948 года по июнь 1949 года - помощник машиниста паровоза на железнодорожном участке строительства Верхнее-Свирской ГЭС (посёлок Подпорожье Ленинградской области). С апреля 1950 года по июнь 1951 года - директор Ломоносовского литейно-механического завода (в Мартышкино). С июля по декабрь 1951 года - начальник слесарно-механического цеха на Ломоносовском горпромкомбинате.

4 декабря 1951 года вернулся на военную службу в ряды ВВС ВМФ, назначен на должность штурмана Пункта управления и наведения 90-й ИАД (ВВС 8-го ВМФ). С 6 июля 1953 года Гвардии майор Г. Д. Костылев - в запасе. С сентября 1953 года работал контрольным мастером на Центральных ремонтно-механических мастерских БЖД Государственного Всесоюзного Ленского золотопромышленного треста "Лензолото" (город Бодайбо Иркутской области). С июня 1955 года - машинист мотовоза на торфопредприятии "Элламаа". С мая по июль 1957 года - рабочий в Красноборском леспромхозе (Подпорожье, Ленинградской области). С 14 сентября 1957 года - каменщик в артели инвалидов "Рассвет" (город Ломоносов, Ленинградской области). Умер 30 ноября 1960 года. Похоронен на мемориальном кладбище защитников Ораниенбаумского плацдарма в Мартышкино.

Именем Героя названа одна из улиц Ломоносова, на одном из домов которой установлена мемориальная доска. Его имя увековечено на мемориальной доске с именами Героев Советского Союза морских авиационных полков Балтийского флота, установленной на Аллее Славы в городе Кронштадт (Ленинградская область). Его имя присвоено гимназии № 426 Петродворцового района Санкт-Петербурга.

Награждён орденами: Ленина (21.10.1942, 23.10.1942), Красного Знамени (21.04.1940, 13.11.1941); медалями "За оборону Ленингада" (1944) и "За победу над Германией" (1948).

Список известных воздушных побед Г. Д. Костылева:

Д а т а	Противник	Место падения самолёта или проведения воздушного боя	Свой самолёт
15.07.1941	1  Ме-110  (в группе 1/3)	Поречье	И-16
22.07.1941	2  Ю-88  (в группе 2/4)	Ропша - Веймарн	МиГ-3
	1  Ме-110  (в группе 1/4)
23.07.1941	1  Ю-88	Ропша
25.07.1941	1  Ю-88  (в паре)	Клопицы	И-16
31.07.1941	1  Ме-109  (в группе 1/3)	Волосово	МиГ-3
01.08.1941	1  Ме-109  (в группе 1/3)	станция Волосово	И-16
	1  "Хе-112"  (в группе 1/3)
11.09.1941	1  Хш-126  (в группе 1/3)	Красное Село	ЛаГГ-3
	1  Ю-88  (в группе 1/3)
	1  Ме-109  (в паре)
21.09.1941	1  Хе-111  (в группе 1/3)	Кронштадт
	1  Ю-88  (в группе 1/5)
16.10.1941	1  Ю-88  (в группе 1/3)	Горская
02.11.1941	1  "Бленхейм"  (в группе 1/3)	маяк Соммерс
03.12.1941	1  "Фоккер" Д-21  (в паре)	остров Лавансаари
18.12.1941	2  Ю-88  (в группе 2/4)	Влоя
21.01.1942	1  Ме-109  (в паре)	западнее Лодва	Як-1
12.03.1942	1  Ме-109  (в группе 1/3)	Малукса	ЛаГГ-3
13.03.1942	2  Ме-109  (в группе 2/3)	Погостье
14.03.1942	2  Ю-88  (в группе 2/3)
16.03.1942	1  Ме-109  (в группе 1/4)
	1  Хш-126  (в группе 1/4)
17.08.1942	2  "Фоккер" Д-21  (в группе 2/6)	остров Валаам	"Харрикейн"
18.08.1942	2  Ме-109  (в группе 2/8)	аэродром Борки
26.08.1942	1  "Капрони"	остров Коневец
26.09.1942	1  Ме-109	Невская Дубровка
28.09.1942	1  Ю-88	Марьино
29.09.1942	1  Ю-88  (в группе 1/3)	Анненское
	2  Ме-109
	1  Ме-109  (в паре)
21.04.1943	1  "Фиат"	маяк Шепелев	Ла-5
22.05.1943	1  ФВ-190  (в паре)	остров Лавансаари
23.05.1943	1  Ме-109
02.06.1943	1  ФВ-190	остров Кирккомансаари
04.08.1944	1  ФВ-190	Кахула
Всего сбитых самолётов - 10 + 33;  боевых вылетов - 418;  воздушных боёв - 112.

Из фотоматериалов разных лет:

Из материалов прессы разных лет: