Родился 10 октября 1909 года в деревне Межево (ныне Оршанский район Витебской области Республики Беларусь). В 1926 году окончил 7 классов школы в Орше, в 1927 году - 1 курс педагогического техникума, там же. С декабря 1927 года в рядах Красной Армии. В 1928 году окончил Ленинградскую военную теоретическую школу лётчиков, в 1930 году - Оренбургскую военную авиационную школу лётчиков. До 1933 года служил лётчиком, старшим лётчиком и командиром авиаотряда в строевых частях ВВС (Украинский военный округ). В 1936 году окончил Военно-Воздушную академию. Служил командиром авиаотряда и эскадрильи (Киевский военный округ). В 1939-1941 гг. - лётчик-инспектор по технике пилотирования ВВС 1-й Отдельной Краснознамённой армии (Дальний Восток). С мая 1941 года - командир 69-й САД, в июле-октябре 1941 года - заместитель командира САД (Дальний Восток). С 9 октября 1941 года по 15 февраля 1942 года - командир 136-й САД (Среднеазиатский военный округ), в 1942-1943 гг. - командир 19-го ЗАП (Сибирский военный округ).

С февраля 1943 года майор Н. И. Ольховский в действующей армии. По июнь 1943 года командовал 297-м ИАП (302-я ИАД). С июня по октябрь 1943 года - командир эскадрильи 193-го ИАП.

К сентябрю 1943 года командир эскадрильи 193-го истребительного авиационного полка (302-я истребительная авиационная дивизия, 4-й истребительный авиационный корпус, 5-я Воздушная армия, Степной фронт) майор Н. И. Ольховский совершил 84 боевых вылета, в 17 воздушных боях сбил 12 самолётов противника. За эти подвиги был представлен к высшей награде страны. С октября по декабрь 1943 года - лётчик-инспектор по технике пилотирования 302-й ИАД. В декабре 1943 года назначен командиром 240-го ИАП (2 июля 1944 года преобразован в 178-й Гвардейский ИАП), той же дивизии. Указом Президиума Верховного Совета СССР от 4 февраля 1944 года удостоен звания Героя Советского Союза с вручением ордена Ленина и медали "Золотая Звезда" (№ 1471).

Войну командир 178-го Гвардейского истребительного Краснознамённого ордена Богдана Хмельницкого авиационного полка (14-я Гвардейская истребительная Кировоградско-Будапештская Краснознамённая ордена Суворова авиационная дивизия) Гвардии подполковник Н. И. Ольховский закончил в Праге. Всего совершил 128 боевых вылетов, провёл 34 воздушных боя, в которых сбил лично 17 самолётов противника. Воевал на Брянском, Воронежском, Степном и 2-м Украинском фронтах.

После войны до 1948 года продолжал командовать истребительным полком (в Южной группе войск, Болгария). В 1948-1950 гг. - адъюнкт кафедры тактики истребительной авиации и ПВО Военно-Воздушной академии (Монино). В 1950-1951 гг. - старший лётчик-инспектор по технике пилотирования истребительного авиакорпуса, в 1951-1952 гг. - начальник оперативного отделения истребительной авиадивизии (Группа Советских войск в Германии). С 1952 года - начальник штаба истребительного авиаполка (на Дальнем Востоке). С сентября 1953 года Гвардии подполковник Н. И. Ольховский - в запасе. После увольнения из армии работал крановщиком на стройке. Жил в Москве. Умер 26 августа 1978 года, похоронен на Химкинском кладбище.

Награждён орденами: Ленина (04.02.1944), Красного Знамени (22.07.1943, 25.08.1943, 05.08.1944, 20.06.1948), Александра Невского (22.02.1945), Красной Звезды (03.11.1944); медалями.

Список известных воздушных побед Н. И. Ольховского:

Д а т а	Противник	Место падения самолёта или проведения воздушного боя	Свой самолёт
24.06.1943	1  Ме-109	Нечаевка	Ла-5
06.07.1943	1  Ю-87	северо-восточнее Казацкое
	1  Ме-109	западнее Беломостное
	1  Ю-88	восточнее Яковлево
	1  Ю-88	восточнее Быковка
13.07.1943	1  ФВ-190	юго-восточнее Богородицкое
15.07.1943	1  Ме-109	северная окраина Новосёловка
10.08.1943	1  Ме-109	западнее Непокрытая
	1  Ме-109	восточнее Русское Лозовое
	1  Ме-109	Камышевка
20.08.1943	1  Ме-109	северо-восточнее Богодухов
23.08.1943	1  Ме-109	южнее Жихарь
07.09.1943	1  Ме-109	восточнее Михайловка
	1  ФВ-190	западнее Валки
07.05.1944	1  Ю-87	Костешти
05.06.1944	1  Ме-109	юго-западнее Стырка
07.10.1944	1  Ю-87	юго-восточнее Каба
Всего сбитых самолётов - 17 + 0;  боевых вылетов - 128;  воздушных боёв - 34.

Из фотоматериалов разных лет: