Родился 2 июня 1909 года в станице Ясенская (ныне Ейский район Краснодарского края). Окончил начальную школу. С 4 сентября 1931 года в рядах Красной Армии. В 1932 году окончил Ейскую военную авиационную школу морских лётчиков. Участник Советско-Финляндской войны с 25 февраля по 13 марта 1940 года в составе 148-го ИАП (59-я авиационная бригада, ВВС 7-й Армии). Летал на И-153, в воздушных боях сбил лично 1 самолёт противника.

С июля 1941 года старший лейтенант И. П. Рыбин на фронтах Великой Отечественной войны в должности заместителя командира эскадрильи того же 148-го ИАП. Летал на И-153, МиГ-3 и Як-1. Воевал на Юго-Западном, Южном, Брянском, Сталинградском и Северо-Кавказском фронтах.

26 апреля 1943 года штурман 148-го истребительного авиационного полка (287-я истребительная авиационная дивизия, 4-я Воздушная армия, Северо-Кавказский фронт) майор И. П. Рыбин погиб в воздушном бою в районе станицы Крымская. К тому времени совершил 168 боевых вылетов, в 30 воздушных боях сбил лично 8 и в составе группы 5 самолётов противника (в наградном листе говорится о 12 личных победах). Указом Президиума Верховного Совета СССР от 24 августа 1943 года посмертно удостоен звания Героя Советского Союза.

Похоронен на Всесвятском кладбище города Краснодара. На родине Героя его именем названа улица. На доме, где он жил, установлена мемориальная доска.

Награждён орденами: Ленина (24.08.1943, посмертно), Красного Знамени (07.04.1940), Отечественной войны 1-й степени (05.11.1942), Красной Звезды (17.06.1942).

Список известных воздушных побед И. П. Рыбина:

Советско-Финляндская война 1939-1940 гг.

Д а т а	Противник	Место падения самолёта или проведения воздушного боя	Свой самолёт
07.03.1940	1  "Гладиатор"	Перкан-саари - Вийпури	И-153
Всего сбитых самолётов - 1 + 0.

Великая Отечественная война 1941-1945 гг.

Д а т а	Противник	Место падения самолёта или проведения воздушного боя	Свой самолёт
18.02.1942	1  Ме-109  (в гр. 1/6)	Плота - Малое Яблоново	МиГ-3
27.03.1942	1  "Хе-113"	Старый Салтов
03.06.1942	1  До-217	Скородное	Як-1
28.07.1942	1  Ме-109	Калач
06.08.1942	1  Ю-87  (в гр. 1/3)	западнее Аксай
	1  Ме-109  (в паре)	севернее станция Гнилоаксайская
10.08.1942	1  Ме-109	аэродром Ольховский
	2  Ю-87  (в группе)	Подстепинский
12.08.1942	1  Ме-109	аэродром Ольховский
20.08.1942	1  Ме-109	южнее Нижняя Акатовка
	1  Ме-109	западнее Верхне-Гниловская
	1  Ме-109	юго-восточнее Кожевня
Всего сбитых самолётов - 8 + 5;  боевых вылетов - 168;  воздушных боёв - 30.