Родился 12 июля 1921 года в городе Смоленске. В 1939 году окончил железнодорожную школу № 29, в 1940 году - аэроклуб. Работал в нём лётчиком-инструктором. С 10 октября 1940 года в рядах Красной Армии, призван Заднепровским РВК (города Смоленска). В 1942 году окончил Сталинградскую военную авиационную школу пилотов.

С октября 1942 года сержант П. П. Каравай в действующей армии. Воевал в составе 897-го ИАП. Прошёл путь от рядового лётчика до командира эскадрильи. Начав боевой путь с берегов Волги, продолжал его в воздушных сражениях под Харьковом, на Дону, под Одессой. Затем участвовал в боях за освобождение Румынии, Югославии, Болгарии, Венгрии и Австрии. Сражался на Сталинградском, Южном, Юго-Западном и 3-м Украинском фронтах. Летал на Як-7, Як-1 (в том числе "Жирновский колхозник"), Як-9 и Як-3.

К 10 марта 1945 года командир эскадрильи 897-го истребительного авиационного полка (288-я истребительная авиационная дивизия, 17-я Воздушная армия, 3-й Украинский фронт) капитан П. П. Каравай совершил 145 боевых вылетов, провёл 27 воздушных боёв, сбил 8 самолётов противника лично и 6 в составе группы (в наградном листе говорится о 15 личных победах). За эти подвиги был представлен к высшей награде страны.

К 9 мая 1945 года майор П. П. Каравай совершил 171 боевой вылет, провёл около 40 воздушных боёв, сбил лично 9 и в составе группы 6 самолётов противника. Имел 2 ранения (в сентябре 1943 - лёгкое и 10 июля 1943 - тяжёлое). Указом Президиума Верховного Совета СССР от 18 августа 1945 года удостоен звания Героя Советского Союза с вручением ордена Ленина и медали "Золотая Звезда" (№ 6889).

После окончания войны продолжал службу в ВВС. В 1956 году окончил Военно-Воздушную академию. С 21 февраля 1974 года полковник П. П. Каравай - в запасе. Жил в Киеве (Украина). Умер 5 февраля 2004 года, похоронен на Лесном кладбище.

Награждён орденами: Ленина (18.08.1945), Красного Знамени (18.02.1943, 12.01.1945), Александра Невского (01.10.1945), Отечественной войны 1-й степени (11.03.1985), Отечественной войны 2-й степени (25.10.1943), Красной Звезды (24.07.1943, 30.12.1956); медалями, в том числе "За боевые заслуги" (15.11.1950).