ШЛЯХИ ВИЗНАЧЕННЯ ДІАПАЗОНУ КЛЮЧОВИХ СЛІВ ЧАСТОТНОГО СЛОВНИКУ ДЛЯ КЛАСИФІКАЦІЇ ТЕКСТУ

Анотація

Робота присвячена актуальній проблемі класифікації текстових документів колекції за характерними ознаками, що застосовується при класифікації новин, відгуків, визначенні емоційної тональності тексту, а також для формування каталогів наукових, академічних та дослідницьких робіт. У роботі запропоновано підхід для визначення значущих слів документу для подальшого їх використання у процесі класифікації в якості вектору ознак. В ході виконання роботи було визначено авторські ключові слова, побудовано частковий словник та проаналізована кореляція між авторськими ключовими словами та переліком впорядкованих слів частотного словнику на основі методу TF, до якого також входять авторські ключові слова. Визначення діапазону та відсотку значущих слів дозволяє виконувати подальшу класифікацію наукових та дослідницьких робіт при формуванні тематичних каталогів навіть у випадку відсутності переліку авторських ключових слів, які можна використовувати для класифікації. Результати показують, що використання усього вхідного діапазону слів частотного словнику є надлишковим та призводить, як наслідок, до більшого часу класифікації.