Село Ольховка упоминается в третьей ревизской сказке 1762 года как деревня Карповского уезда, где проживали однодворцы. После административной реформы Ольховка стала относиться к Обоянскому уезду Курского наместничества, а затем Курской губернии.
В 1928 году после очередной административной реформы Ольховка вошла в состав Дмитриевского сельсовета Томаровского района. После упразднения Томаровского района в декабре 1862 года село относится к Яковлевскому району Белгородской области.