Кульбаки основаны в 1680 годах и тогда относились Белопольскому уезду Харьковской губернии. В 1705 году началось строительство церкви, о чём записано в приходной книге.
В пополнительной переписи 1722 года указано, что селом на тот момент владел помещик Дубровский, которому принадлежала Глушковская суконная фабрика.
В 1779 году при образовании Курского наместничества Кульбаки вошли в состав одного из его уездов - Путивльского. В 1802 году село стало относиться к Рыльскому уезду Курской губернии.
Согласно данным ревизской сказки 1834 года проживавшие в селе крестьяне всё также принадлежали владельцу Глушковской суконной фабрики. Тогда им был граф Сергей Павлович Потемкин. А название села указано как "Кульбак".