Родился 12 мая 1912 года в селе Людавка (ныне Жмеринской городской общины Жмеринский района Винницкая области). Окончил среднюю школу и 2 курса индустриального института. Работал слесарем. С июня 1935 года в рядах Красной Армии, призван по специальному набору. В ноябре 1936 году окончил Качинскую военную авиационную школу пилотов и был направлен для прохождения службы в Сибирский военный округ. Был пилотом в 44-й АБР, с июня 1938 года - младшим лётчиком 12-го ШАП, с июля 1939 года - старшим лётчиком. С 1940 года - командир звена в 301-м ИАП, с мая 1941 года - заместитель командира эскадрильи. В апреле 1942 года убыл на Курсы усовершенствования штурманов ВВС КА, с сентября 1942 года - в распоряжении командования 15-й Воздушной армии. С 17 сентября 1942 года был командиром эскадрильи в 265-м ИАП. 1 декабря 1942 года направлен для продолжения службы в 814-й ИАП.

С 25 декабря 1942 года старший лейтенант К. Я. Лебедев в действующей армии: в должности командира эскадрильи 814-го ИАП. Воевал на Юго-Западном фронте (в составе 207-й ИАД, 3-го САК, 17-й Воздушной армии), летал на Як-1Б. Принимал участие в Среднедонской и Ворошиловградской наступательных операциях Советских войск.

31 мая 1943 года командир 3-й эскадрильи 814-го истребительного авиационного полка (207-я истребительная авиационная дивизия, 3-й смешанный авиационный корпус, 17-я Воздушная армия, Юго-Западный фронт) капитан К. Я. Лебедев при выполнении боевого задания по сопровождению штурмовиков Ил-2 в районе города Краматорска (Донецкой области) был сбит зенитной артиллерией противника и попал в плен (содержался в шталаге Луфтваффе № 2). 1 мая 1944 года пытался бежать, но был пойман. 31 мая 1944 года передан гестапо, из плена не возвратился. Всего совершил около 80 боевых вылетов, провёл около 30 воздушных боёв, сбил лично 6 и в составе группы 1 самолёт противника.

Награждён орденами: Красного Знамени (21.03.1943), Красной Звезды (20.02.1943).