Родился 1 мая 1919 года в селе Батеево (ныне в составе Приазовского района Запорожской области Украины). Окончил 8 классов и Мелитопольский аэроклуб. Работал токарем на заводе в Мелитополе. С 1939 года в рядах Красной Армии. В 1940 году окончил Качинскую военную авиационную школу лётчиков.

С октября 1941 года старшина Г. С. Холодный на фронтах Великой Отечественной войны в должности пилота 248-го ИАП (74-я смешанная авиационная дивизия, затем 3-я Ударная авиационная группа, затем 220-я истребительная авиационная дивизия в составе ВВС Южного, Юго-Западного и Сталинградского фронтов). Летал на И-16, Як-1 и Як-7. Участвовал в Ростовской оборонительной и Ростовской наступательной операциях 1941 года, в оборонительных боях лета 1942 года на Дону, в оборонительном этапе Сталинградской битвы, в Курской битве.

С августа 1943 года воевал в должности лётчика 133-го ИАП (234-я истребительная авиационная дивизия, 16-я Воздушная армия) на Центральном, Белорусском и 1-м Белорусском фронтах. Летал на Як-9. Участвовал в битве за Днепр, Гомельско-Речицкой, Калинковичско-Мозырьской, Белорусской наступательных операциях. В феврале 1944 года вернулся в 248-й ИАП. В августе 1944 года направлен в 157-й ИАП, где летал уже на Як-3.

К декабрю 1944 года лётчик 157-го истребительного авиационного полка (234-я истребительная авиационная дивизия, 6-й истребительный авиационный корпус, 16-я Воздушная армия, 1-й Белорусский фронт) капитан Г. С. Холодный выполнил 169 боевых вылетов, в 38 воздушных боях сбил лично 16 и в составе группы 2 самолёта противника. За эти подвиги представлен к высшей награде страны. В феврале 1945 года вернулся в 133-й ИАП (той же дивизии), повышен в должности до командира звена. Участвовал в Висло-Одерской, Восточно-Померанской и в Берлинской операциях.

К маю 1945 года капитан Г. С. Холодный выполнил 245 боевых вылетов, провёл 45 воздушных боёв, в которых сбил лично 17 и в составе группы 2 самолёта противника. Указом Президиума Верховного Совета СССР от 15 мая 1946 года удостоен звания Героя Советского Союза с вручением ордена Ленина и медали "Золотая Звезда".

После окончания войны продолжал службу в ВВС. В 1949 году окончил Высшие офицерские лётно-тактические курсы (город Липецк), в 1954 году - Центральные курсы усовершенствования офицерского состава ВВС. Служил в авиационных частях Группы советских войск в Германии, затем в Бакинской армии ПВО.

В июне 1952 года командир эскадрильи 878-го ИАП (216-я истребительная авиационная дивизия) подполковник Г. С. Холодный в составе полка прибыл в Северный Китай в правительственную командировку. С июля по 1952 года по июль 1953 года участвовал в Корейской войне в составе того же 878-го ИАП (64-й истребительный авиационный корпус), летал на МиГ-15бис. В воздушных боях лично сбил 2 самолёта ВВС США.

В дальнейшем продолжал службу на Дальнем Востоке, в Польше и в Заполярье. С 1961 года подполковник Г. С. Холодный - в запасе. Жил в городе Новочеркасске Ростовской области. Работал председателем городской организации ДОСААФ. Умер 26 февраля 1985 года. Похоронен на Братском кладбище Новочеркасска. Имя Героя высечено на памятнике "Героям-землякам" в посёлке городского типа Приазовское Запорожской области Украины.

Награждён орденами: Ленина (15.05.1946), Красного Знамени (23.02.1942, 31.07.1945, ...), Отечественной войны 1-й степени (05.12.1943), Отечественной войны 2-й степени (23.04.1945), Красной Звезды (31.07.1943, ...); медалями.