БАЄСОВА ОПТИМІЗАЦІЯ ДЛЯ НАЛАШТУВАННЯ ГІПЕРПАРАМЕТРІВ МОДЕЛЕЙ МАШИННОГО НАВЧАННЯ: АНАЛІЗ ПРОДУКТИВНОСТІ В XGBOOST

Анотація

Ефективність моделей машинного навчання залежить від вибору та налаштування гіперпараметрів. Як широко використовуваний метод градієнтного бустингу, XGBoost покладається на оптимальні конфігурації гіперпараметрів, щоб збалансувати складність моделі, запобігти надмірному пристосуванню та покращити узагальнення. Особливо у високорозмірних просторах гіперпараметрів традиційні підходи, включаючи пошук по сітці та випадковий пошук, є обчислювально дорогими та неефективними. Нещодавні досягнення в автоматизованому налаштуванні гіперпараметрів, зокрема, байєсівська оптимізація за допомогою деревовидної парзен-оцінки, продемонстрували перспективність підвищення точності та ефективності оптимізації моделей. Мета цієї статті - проаналізувати, наскільки ефективною є байєсівська оптимізація при налаштуванні гіперпараметрів XGBoost для реальної задачі класифікації. Порівняння байєсівської оптимізації з традиційними методами пошуку може допомогти оцінити її вплив на точність моделі, швидкість конвергенції (збіжності) та економію обчислень. В якості прикладу в цьому дослідженні було використано набір даних про поведінку споживачів щодо витрат. Завдання класифікації полягало в тому, щоб розрізнити дві категорії транзакцій: готелі, ресторани та кафе від роздрібної торгівлі.  Ефективність моделі оцінювалася за допомогою мінімізації функції втрат, стабільності збіжності та точності класифікації. Ця стаття показує, що байєсівська оптимізація покращує налаштування гіперпараметрів XGBoost, а отже, підвищує ефективність класифікації, знижуючи при цьому обчислювальні витрати. Результати є емпіричним доказом того, що байєсовська оптимізація перевершує традиційні методи з точки зору точності, стабільності та масштабованості.