МЕТОД РЕДУКЦІЙНОГО СПРОЩЕННЯ НЕЙРОННИХ МЕРЕЖ ТА ЙОГО ЗАСТОСУВАННЯ

Анотація

Натреновані нейронні мережі зазвичай містять надлишкові нейрони, які не впливають або погіршують якість цільової ідентифікації. Через таку надлишковість моделей відбувається надмірне навантаження розрахункових потужностей та споживання зайвої електроенергії. Розгортання та експлуатація таких моделей на крайових пристроях ускладнюється або унеможливлюється. Отож, гостро постає потреба спрощення моделей із одночасним збереженням їхньої ефективності. Метою роботи є створення методу спрощення нейронних мереж, який дозволяє автоматично виявляти та видаляти велику кількість надлишкових нейронів із одночасним покращенням ефективності моделей. Методика полягає у зашумлені цільової змінної та наступному виявленні та видаленні ваг із найбільшими відхиленнями щодо ваг контрольної моделі. Показано, що метод дозволяє видалити до 90% активних ваг нейронної мережі. При цьому, на відміну від класичних методів прунінгу, одночасно зі зменшенням кількості ваг покращується ефективність моделей. Наукова новизна роботи полягає у розробці методу, а також нових практичних застосуваннях. Метод редукції було покращено для динамічного виявлення та видалення великих груп надлишкових параметрів повнозв’язних нейронних мереж, а також реалізовано логіку автоматичного визначення оптимальної кількості залишкових “значущих” ваг. Згадані модифікації дозволяють пришвидшити пошук та усунення зайвих параметрів, скоротити час та ресурси для розрахунків, автоматизувати пошук оптимального набору найважливіших параметрів. Ефективність методу була продемонстрована на двох прикладних задачах: передбаченні виходу хімічних реакцій та передбаченні молекулярної афінності. Реалізація та практичні застосування методу доступні за посиланням: https://github.com/ogurbych/ann-reduction