Родился 22 августа 1913 года в городе Пятигорске (ныне Ставропольского края). Окончил 7 классов, работал слесарем, учился в Пятигорском аэроклубе. С 1935 года в рядах Красной Армии. В 1937 году окончил Качинскую военную авиационную школу пилотов. Участник похода советских войск в Западную Украину и Западную Белоруссию в 1939 году.

С июня 1941 года лейтенант Б. Я. Терновой на фронтах Великой Отечественной войны в должности командира звена 184-го ИАП, летал на И-16. С октября 1941 года - командир эскадрильи в 573-м ИАП, летал на МиГ-3 и Як-1. С января 1943 года - на такой же должности в 487-м ИАП ПВО (9 октября 1943 года переименован в 146-й Гвардейский ИАП ПВО). В апреле - мае 1943 года находился с группой лётчиков в оперативном подчинении 628-го ИАП по защите города Краснодара. Летал на Як-1, Як-7 и Як-9.

К июлю 1944 года командир эскадрильи 146-го Гвардейского истребительного авиационного полка (Войска ПВО территории страны) Гвардии майор Б. Я. Терновой провёл около 30 воздушных боёв, в которых сбил лично 7 и в составе группы 6 самолётов противника (в наградном листе говорится о 11 личных и 8 групповых победах). За эти подвиги представлен к высшей награде страны.

С 30 ноября 1944 года командовал 1007-м ИАП (9-й истребительный авиационный корпус, Войска ПВО территории страны), летал на "Аэрокобре", побед больше не одерживал. Указом Президиума Верховного Совета СССР от 18 августа 1945 года удостоен звания Героя Советского Союза с вручением ордена Ленина и медали "Золотая Звезда" (№ 8603).

После окончания войны продолжал службу в Войсках ПВО страны. После выхода в запас жил в городе Днепропетровске. Умер 9 мая 1956 года, похоронен на Аллее Героев Запорожского кладбища.

Награждён орденами: Ленина (18.08.1945), Красного Знамени (09.12.1941, ...), Александра Невского (30.08.1943), Красной Звезды; медалями.