Родился 15 января 1919 года в городе Витебске (Витебская область Республики Беларусь). С 28 августа 1937 года в рядах Красной Армии, призван Фрунзенским РВК города Москвы. Окончил военную авиационную школу лётчиков.

С октября 1941 года сержант К. И. Гольдберг на фронтах Великой Отечественной войны. По март 1942 года воевал в составе 28-го ИАП (6-й ИАК, Московская зона ПВО), совершил 25 боевых вылетов на МиГ-3. С 8 мая 1944 года сражался в 265-м ИАП (336-я ИАД, 1-й Белорусский фронт), где летал на Як-9.

8 сентября 1944 года командир 3-й эскадрильи 265-го истребительного авиационного полка (336-я истребительная авиационная дивизия, 14-я Воздушная армия, 3-й Прибалтийский фронт) старший лейтенант К. И. Гольдберг был подбит зенитным огнём при штурмовке эшелона в районе города Эрделе-Валга (Эстония) и попал в плен. 30 апреля 1945 года освобождён советскими войсками, прошёл спецпроверку в 33-й запасной стрелковой дивизии (Московский военный округ). Всего совершил около 100 боевых вылетов, провёл более 20 воздушных боёв, сбил лично 13 и в составе группы 2 самолёта противника.

После окончания войны продолжал служить в ВВС. Был командиром 735-го ИАП, начальником авиации 7-й дивизии ПВО (город Алма-Ата, Казахстан). Указом Президиума Верховного Совета СССР от 8 июля 1967 года присвоено почётное звание "Заслуженный военный лётчик". С 10 февраля 1970 года полковник К. И. Гольдберг - в запасе.

Награждён орденами: Красного Знамени (10.07.1944, 08.08.1944, 19.08.1944, 22.02.1955, 22.02.1968), Красной Звезды (26.10.1955); медалями, в том числе "За боевые заслуги" (24.06.1948).