В 1930 году образован Терновский район в составе Центрально-Чернозёмной области, которая в 1934 году была разделена на Воронежскую и Курскую области. Терновский район был отнесён ко вновь образованной Воронежской области. Границы и размеры Терновского района неоднократно изменялись. В 1954 году Терновский район был передан в Балашовскую область. В 1957 году Балашовская область была упразднена и Терновский район вошёл в состав Воронежской области. В связи с укрупнением Терновский район был ликвидирован, и его территория вошла в состав Грибановского района. В 1964 году район был восстановлен, в него также вошла территория бывшего Алешковского района.

    Заселение современной территории района русскими проходило в XVII-XVIII вв. В то время на реках Савала и Карачан находились промысловые угодья дворцовых крестьян Верхоценской области.

    Терновка основана в 1730-е гг. свободными крестьянами, называвшими себя вольными хлебопашцами. Вскоре рядом с ними поселился помещик – майор Н.В.Новосельцев, построивший большой господский дом и переселивший сюда своих крепостных крестьян из других владений. По данным "ревизских сказок", в 1763 году на месте села Терновка существовал поселок c населением в полтораста человек.

    В 1766 году, после смерти Н.В. Новосельцева, его имение досталось многочисленным наследникам. Во второй половине XVIII в. "ревизские сказки" среди владельцев этой территории называют двух Пановых, двух Кондауровых, Окорокова и Цыплятева. Дробление имения привело к сокращению населения с. Терновка в 70-е гг. XVIII в.

    В 1812 г. один из владельцев села – Афанасий Григорьевич Панов (вероятно, в связи с началом Отечественной войны), отпустил на волю с земельными наделами 150 ревизских (т.е. мужских) душ. Отпущенные крестьяне в большинстве своем остались в дальнейшем на этих землях. В середине XIX в. Терновка все еще считалась частновладельческим и казенным селом, то есть часть ее жителей была в крепостной зависимости. В эти годы в селе было 262 крестьянских двора, 1111 жителей.

    В 1869-1871 гг. рядом с селом прошла железная дорога Грязи-Борисоглебск, построена железнодорожная станция с одноименным названием. В первые годы XX в. в селе была выстроена паровая мельница.

    В ноябре-декабре 1917 г. в деревнях и селах района установлена Советская власть. В годы гражданской войны на территории Терновского района одной из причин социально-политических конфликтов являлась борьба за хлеб. Крестьяне всячески противились конфискации, продразверсткам и другим некомпенсируемым изъятиям хлеба. Нередко пассивное сопротивление (саботаж хлебозаготовок и т.п.) переходило в кровопролитие. Каких-либо серьезных боевых действий между частями Красной Армии, Добровольческой армии и казаками Войска Донского в 1919 г. на этой территории не велось.