Родился 2 января 1911 года в деревне Нижние Лихоборы (ныне - территория Северного округа Москвы). Окончил 7 классов средней школы. С 1928 года в рядах Красной Армии. В 1930 году окончил Ленинградскую военно-теоретическую школу ВВС, в 1931 году - 2-ю Борисоглебскую военную школу лётчиков имени ОСОАВИАХИМа. Служил в строевых частях ВВС. С ноября 1931 года - младший лётчик 3-й авиаэскадрильи ВВС Ленинградского военного округа, с сентября 1933 года - командир звена 109-й истребительной авиаэскадрильи 5-й Житомирской авиабригады, с ноября 1935 года - инструктор авиаэскадрильи высшего пилотажа и воздушной стрельбы 8-й военной школы пилотов, командир звена 109-й истребительной авиаэскадрильи 36-й истребительной авиабригады ВВС Киевского военного округа. За личные успехи по освоению новой авиатехники старший лейтенант П. В. Рычагов награждён орденом Ленина (25.05.1936).

С 20 октября 1936 года по 6 февраля 1937 года участвовал в боевых действиях в Испании в должности командира 1-й авиационной эскадрильи, а затем и 26-й группы истребителей И-15. Выполнил около 80 боевых вылетов (боевой налёт - 105 часов), сбил лично 8 самолётов противника (по различным источникам имел и до 15 групповых побед). Сам трижды был сбит, но каждый раз спасался на парашюте. 31 декабря 1936 года за мужество и героизм, проявленные при выполнении воинского долга удостоен звания Героя Советского Союза. После учреждения знака особого отличия "Золотая Звезда" ему была вручена медаль № 86.

Вернувшись из Испании, майор П. В. Рычагов командовал 65-й истребительной авиаэскадрильей. В 1937 году поступил на учёбу в Военно-воздушную академию имени Н. Е. Жуковского. В ноябре 1937 года направлен в Китай, где по апрель 1938 года возглавлял боевую деятельность советских лётчиков-истребителей в боях с японскими захватчиками.

С марта 1938 года - командующий ВВС Московского военного округа. С мая 1938 года комбриг П. В. Рычагов - командующий ВВС и член Военного Совета Приморской группы войск Дальневосточного фронта и Отдельной Краснознамённой Дальневосточной армии. В боях у озера Хасан в 1938 году руководил боевыми действиями авиационной группировки. С ноября 1939 года по март 1940 года комдив П. В. Рычагов принимал участие в Советско-Финляндской войне, командовал ВВС 9-й армии.

С июня 1940 года - заместитель начальника, с августа - начальник Главного управления ВВС РККА. Постановлением Совета народных Комиссаров СССР от 4 июня 1940 года ему присвоено звание генерал-лейтенанта авиации. С марта 1941 года - заместитель Народного комиссара обороны СССР. В апреле 1941 года снят с поста и зачислен на учёбу в Академию Генерального штаба. 24 июня 1941 года арестован и обвинён в антисоветском военном заговоре. 28 октября 1941 года расстрелян вместе с 18-ю другими участниками "заговора". Указом Президиума Верховного Совета СССР от 21 марта 1947 года лишён звания Герой Советского Союза.

Посмертно реабилитирован Постановлением Главной военной прокуратуры СССР от 23 июля 1954 года. Восстановлен посмертно в КПСС 19 марта 1963 года. 22 апреля 1969 года восстановлен в звании Героя Советского Союза.

Награждён орденами: Ленина (25.05.1936, 31.12.1936), Красного Знамени (08.03.1938, 25.10.1938, 21.05.1940); медалью "ХХ лет РККА" (1938).