Родился 17 февраля 1919 года в деревне Первые Яковлевичи (ныне Оршанский район Витебской области Республики Беларусь). Рано остался без отца, с 6 лет работал подпаском. Окончил 7 классов и аэроклуб в городе Орше. С 1938 года в рядах Красной Армии. В июне 1941 года окончил Чугуевскую военную авиационную школу лётчиков.

С июля 1941 года сержант И. Я. Сержантов на фронтах Великой Отечественной войны. Боевую деятельность начал пилотом в составе 181-го ИАП, летал на И-16 и ЛаГГ-3. С сентября 1941 года сражался в 164-м ИАП, где продолжал летать на ЛаГГ-3. В июле 1942 года направлен в 6-й ИАП, летал на Як-1. С января 1943 года в 9-й Гвардейском ИАП, летал так же на Як-1. Трижды ранен в боях.

К апрелю 1943 года лётчик 9-го Гвардейского истребительного авиационного полка (8-я Воздушная армия, Южный фронт) Гвардии лейтенант И. Я. Сержантов совершил 258 боевых вылетов, провёл 85 воздушных боёв, в которых сбил лично 8 и в составе пары 2 самолёта противника. За эти подвиги представлен к высшей награде страны.

29 апреля 1943 года умер в результате несчастного случая (отравился техническим спиртом). Указом Президиума Верховного Совета СССР от 24 августа 1943 года посмертно удостоен звания Героя Советского Союза. Похоронен в городе Ростов-на-Дону. Имя Героя носят улицы в городах Орша и Ростов-на-Дону, оно увековечено в мемориале в ростовском Парке авиаторов.

Награждён орденами: Ленина (24.08.1943), Красного Знамени, Красной Звезды (12.02.1942); медалями.