Родился 28 марта 1916 года в городе Шуе. Окончил 7 классов, школу фабрично-заводского ученичества по специальности слесарь-инструментальщик. Работал слесарем на фабрике родном городе. В 1936 окончил рабфак энергетического института в городе Иваново, и одновременно Ивановский аэроклуб.

В марте 1936 года Ивановским областным военкоматом был призван в Красную Армию и направлен в авиационное училище. В 1939 году Тамбовское лётное училище Гражданского Воздушного Флота. Получил назначение в город Ташкент, работал пилотом на гражданских авиалиниях в Средней Азии. В 1940 году окончил Конотопскую военную авиационную школу пилотов. Продолжал службу инструктором в Одесском авиационном училище, в одном звене с ним был Борис Глинка.

В первые годы Великой Отечественной войны готовил в лётных школах кадры лётчиков-истребителей. С 1943 года в составе 2-го авиационного полка 1-й перегоночной авиационной дивизии Гражданского Воздушного Флота перегонял по трассе "Алсиб" американские самолёты, поставляемые по ленд-лизу. Двухлетняя работа лётчика в трудных условиях Севера отмечена орденами Отечественной войны 1-й степени и Красной Звезды.

После Победы продолжал службу в авиационных частях. Освоил реактивную технику, участвовал в Первомайском параде 1946 году. За успехи в обучении молодого поколения лётчиков и освоении новой боевой техники награждается вторым орденом Красной Звезды. Весной 1948 года принимал участие в высокоширотной экспедиции "Север-2".

В составе группы из 3 истребителей Ла-11 выполнил перелёт Москва - мыс Шмидта (на Чукотке), через населённый пункты Дальнего Востока, дальностью 8500 километров. Испытывая самолёт Ла-11 в условиях Крайнего Севера налетал 50 часов. Впервые в истории авиации на одноместном истребителе летал надо льдами Северного Ледовитого океана, удаляясь от берега на расстояния свыше 12000 км. Дважды выполнял посадки на ледовый аэродром, расположенный на 82 градусе 15 минутах северной широты.

В марте 1949 года Гвардии капитан В. Д. Боровков был представлен к присвоению звания Герой Советского Союза. В наградном листе начальник военной группы высокоширотной арктической воздушной экспедиции "Север-2" Гвардии полковник Серебряков отмечал:

"Самолёт посадочных лыж не имел и посадки производились на колёса. Всё это было произведено мастерски, так как посадочные площадки были крайне ограничены и заснежены. Условия полёта проходили в тяжёлых метеорологических условиях Арктики. Для выполнения таких заданий необходимо проявление мужества и отваги".

Указом Президиума Верховного Совета СССР от 6 декабря 1949 года за отвагу и мужество, проявленные при выполнении воинского долга, а также за освоение новой военной техники Гвардии капитану Боровкову Виктору Дмитриевичу присвоено звание Героя Советского Союза с вручением ордена Ленина и медали "Золотая Звезда" (№ 6616).

Лётчик-истребитель В. Д. Боровков продолжил службу в военной авиации. В 1950-1951 гг. принимал участие в боевых действиях в Корее в составе 28-го Гвардейского истребительного авиационного полка (151-я Гвардейская истребительная авиационная дивизия). Командир эскадрильи Гвардии майор В. Д. Боровков в воздушных боях лично сбил один самолёт противника. Был награждён двумя орденами Красного Знамени.

11 ноября 1950 года у лётчиков 64-го ИАК состоялся всего один бой, но довольно ожесточённый. В 14 часов дня по вызову с ВПУ Аньдуня с аэродрома Аньшань вылетели на разведку 4 МиГ-15 под командованием начальника ВВС 151-й Гвардейской ИАД майора Колядина.

В районе Аньдуня в 14 часов 24 минуты это звено было атаковано группой из 20 F-80 справа сверху. Для выхода из-под атаки Колядин сделал энергичный боевой разворот. При этом боевой порядок нарушился, бой вели парами. Ведомый Колядина старший лейтенант Акимов отбил атаку на своего ведущего и сбил один F-80. Отбить атаку по самолёту старшего лейтенанта М. П. Насонова сразу не удалось. Во время атаки Насонов продолжал полёт по прямой. Колядин и ведущий второй пары командир 2-й эскадрильи полка Герой Советского Союза майор В. Д. Боровков, отбив атаки наседавшего противника, передали по радио: "23-й, в хвосте самолёт противника, отвернись!"

Насонов команду не выполнил, продолжал плавный разворот влево с креном в 30, а в это время F-80 с дистанции 50 метров вёл по нему огонь. Насонов стал снижаться левой управляемой спиралью. Боровков пошёл на помощь своему ведомому старшему лейтенанту Насонову, зашёл в хвост атакующей пары и сзади, с дистанции 500 - 200 метров, сбил один F-80. Тут Боровков, прикрывавший Насонова, вновь был атакован двумя F-80, вступил с ними в бой и вынужден был прекратить дальнейшее прикрытие. При вынужденной посадке на строящийся аэродром Аньдун старший лейтенант М. П. Насонов погиб.

Оставшаяся тройка советских лётчиков оторвалась от противника и благополучно вернулась на свой аэродром. По словам Боровкова, во время этого полёта они обнаружили полевой аэродром противника, на котором базировались поршневые "Мустанги", и даже произвели по взлетавшим самолётам противника одну атаку, в которой, по его мнению, было уничтожено 1 - 2 самолёта противника. Однако документов, официально подтверждающий этот факт, пока не найдено. Американская сторона признала потерю только одного своего F-80 из состава 8-й АЭ 49-й ИБАГ.

В 1958 году Гвардии полковник В. Д. Боровков по состоянию здоровья ушёл в запас. Работал в системе Гражданской обороны, затем военруком в школе. Жил городе Елец Липецкой области. Почётный гражданин города Шуя. Умер 4 августа 1995 года.

Его имя увековечено на стеле шуян - Героев Советского Союза, установленной на воинском мемориале на Троицком кладбище и на мемориале Героев - ивановцев в областном центре.

Награждён орденами: Ленина (06.12.1949), Красного Знамени (15.12.1950), Отечественной войны 1-й степени (19.08.1944, 11.03.1985), Красной Звезды (18.08.1945, 16.05.1947, 05.11.1954); медалями, в том числе "За боевые заслуги" (15.11.1950).