Родился 22 августа 1913 года в городе Пятигорске (ныне Ставропольского края). Окончил 7 классов, работал слесарем, учился в Пятигорском аэроклубе. С 16 ноября 1935 года в рядах Красной Армии, призван Пятигорским ГВК. В 1937 году окончил Качинскую военную авиационную школу пилотов. Участник похода советских войск в Западную Украину и Западную Белоруссию осенью 1939 года.

С 22 июня 1941 года лейтенант Б. Я. Терновой на фронтах Великой Отечественной войны в должности командира звена 184-го ИАП (59-я ИАД, ВВС Западного фронта), летал на И-16. С октября 1941 года - командир эскадрильи в 573-м ИАП (101-я ИАД ПВО, Воронежско-Борисоглебский район ПВО, оперативно подчинялась командованию Юго-Западного фронта), летал на МиГ-3 и Як-1. С января 1943 года - на такой же должности в 487-м ИАП ПВО (9 октября 1943 года преобразован в 146-й Гвардейский ИАП ПВО), где продолжал летать на МиГ-3. В апреле - мае 1943 года находился с группой лётчиков в оперативном подчинении 628-го ИАП по защите города Краснодара. Летал на Як-1, Як-7 и Як-9.

К июлю 1944 года командир эскадрильи 146-го Гвардейского истребительного авиационного полка (9-й истребительный авиационный корпус ПВО, 7-й корпус ПВО, Южный фронт ПВО) Гвардии майор Б. Я. Терновой провёл около 30 воздушных боёв, в которых сбил лично 7 и в составе группы 6 самолётов противника (в наградном листе говорится о 11 личных и 8 групповых победах). За эти подвиги был представлен к высшей награде страны.

С 30 ноября 1944 года командовал 1007-м ИАП (9-й истребительный авиационный корпус, Войска ПВО территории страны), летал на "Аэрокобре", побед больше не одерживал. Указом Президиума Верховного Совета СССР от 18 августа 1945 года удостоен звания Героя Советского Союза с вручением ордена Ленина и медали "Золотая Звезда" (№ 8603).

После окончания войны продолжал службу в Войсках ПВО страны. С 1946 года - командир 39-го Гвардейского ИАП ПВО (120-я ИАД ПВО). С 1950 года - заместитель командира 65-й ИАД ПВО (Северо-Кавказская и 32-я истребительная армия ПВО). С 1955 года - командир 155-й ИАД ПВО (Северо-Кавказская армия ПВО). 9 мая 1956 года Гвардии полковник Б. Я. Терновой скончался после короткой тяжёлой болезни. Похоронен в Днепропетровске, на Запорожском кладбище. Именем Героя названа улица в Пятигорске.

Награждён орденами: Ленина (18.08.1945), Красного Знамени (09.12.1941, 30.12.1956), Александра Невского (30.08.1943), Красной Звезды (17.05.1951); медалями, в том числе "За боевые заслуги" (06.05.1946).