Родился 23 сентября 1921 года в селе Дарница (ныне Братский район Николаевской области Украины). Окончил среднюю школу, в 1939 году - 2 курса Никопольского агролесомелиоративного техникума и аэроклуб. С 12 декабря 1939 года в рядах Красной Армии, призван Никопольским ГВК (Днепропетровской области Украины). В 1940 году окончил Качинскую военную авиационную школу пилотов.

С декабря 1941 года младший лейтенант Л. К. Рыжий в действующей армии. Воевать начал в 743-м ИАП на Закавказском фронте (в составе 135-й САД, ВВС 44-й Армии), летая на И-153. С 12 февраля 1942 года полк действовал на Крымском фронте (в составе 71-й ИАД и 25-й ИАД). 17 мая 1942 года был тяжело ранен в воздушном бою над Таманским полуостровом, повреждённый самолёт сумел посадить на тонкую песчаную косу, лечился в госпитале.

В декабре 1942 года был направлен в 347-й ИАП, который находясь в тылу проходил переформирование и переучивался на новую технику. С 8 мая 1943 года приступил к боевой работе на Центральном фронте (20 октября 1943 года переименован в Белорусский фронт) в составе 273-й ИАД (16-й Воздушной армии), летая на Як-1 и Як-9. С 16 января 1944 года полк находился в резерве Ставки ВГК, проходил очередное переформирование. С 7 июля 1944 года приступил к боевой работе на 1-м Белорусском фронте (в составе 193-й ИАД, 6-й Воздушной армии), летая на Як-9Т и Як-9Д. С 8 сентября 1944 года снова был в резерве Ставки ВГК, во втором эшелоне фронта, осваивал новую технику. 25 ноября 1944 года возобновил боевую работу на 1-м Белорусском фронте, летая уже на Як-9У.

К середине марта 1945 года командир эскадрильи 347-го истребительного авиационного полка (193-я истребительная авиационная дивизия, 13-й истребительный авиационный корпус, 16-я Воздушная армия, 1-й Белорусский фронт) капитан Л. К. Рыжий совершил 250 боевых вылетов, в 89 воздушных боях сбил лично 17 и в составе пары 1 самолёт противника. За эти подвиги представлен к высшей награде страны. Весной 1945 года принял участие в боях за взятие Берлина и освобождение Варшавы.

К 9 мая 1945 года штурман 347-го ИАП капитан Л. К. Рыжий выполнил 289 боевых вылетов, провёл 96 воздушных боёв, сбил 21 самолёт противника лично и 1 в составе пары. Указом Президиума Верховного Совета СССР от 15 мая 1946 года удостоен звания Героя Советского Союза с вручением ордена Ленина и медали "Золотая Звезда" (№ 9024).

После окончания войны продолжал служить на различных должностях в ВВС. В 1951 году окончил Военно-Воздушную академию (в Монино), в 1963 году - Московский государственный университет. С 31 октября 1973 года полковник Л. К. Рыжий - в запасе. Жил в Москве. Преподавал в Военной академии химзащиты. Умер 2 мая 1995 года, пхоронен на Химкинском кладбище.

Награждён орденами: Ленина (15.05.1946), Красного Знамени (17.10.1942, 22.08.1944, 19.10.1945, 22.02.1955), Александра Невского (15.10.1944), Отечественной войны 1-й степени (15.09.1943, 11.03.1985), Красной Звезды (29.04.1954, 26.10.1955); медалями, в том числе "За боевые заслуги" (15.11.1950).