ШЛЯХИ ВИЗНАЧЕННЯ ДІАПАЗОНУ КЛЮЧОВИХ СЛІВ ЧАСТОТНОГО СЛОВНИКУ ДЛЯ КЛАСИФІКАЦІЇ ТЕКСТУ

Автор(и)

  • Олеся Барковська Харківський національний університет радіоелектроніки https://orcid.org/0000-0001-7496-4353
  • Дмитро Могилевський Харківський національний університет радіоелектроніки
  • Юлія Іваненко Харківський національний університет радіоелектроніки
  • Дмитро Росінський Харківський національний університет радіоелектроніки

DOI:

https://doi.org/10.31891/csit-2023-1-2

Ключові слова:

обробка, мова, словниковий запас, частотність, термін, ключове слово, класифікація, ознака

Анотація

Робота присвячена актуальній проблемі класифікації текстових документів колекції за характерними ознаками, що застосовується при класифікації новин, відгуків, визначенні емоційної тональності тексту, а також для формування каталогів наукових, академічних та дослідницьких робіт. У роботі запропоновано підхід для визначення значущих слів документу для подальшого їх використання у процесі класифікації в якості вектору ознак. В ході виконання роботи було визначено авторські ключові слова, побудовано частковий словник та проаналізована кореляція між авторськими ключовими словами та переліком впорядкованих слів частотного словнику на основі методу TF, до якого також входять авторські ключові слова. Визначення діапазону та відсотку значущих слів дозволяє виконувати подальшу класифікацію наукових та дослідницьких робіт при формуванні тематичних каталогів навіть у випадку відсутності переліку авторських ключових слів, які можна використовувати для класифікації. Результати показують, що використання усього вхідного діапазону слів частотного словнику є надлишковим та призводить, як наслідок, до більшого часу класифікації.

##submission.downloads##

Опубліковано

2023-03-30

Як цитувати

Барковська , О., Могилевський , Д., Іваненко, Ю., & Росінський, Д. (2023). ШЛЯХИ ВИЗНАЧЕННЯ ДІАПАЗОНУ КЛЮЧОВИХ СЛІВ ЧАСТОТНОГО СЛОВНИКУ ДЛЯ КЛАСИФІКАЦІЇ ТЕКСТУ. Computer Systems and Information Technologies, (1), 14–20. https://doi.org/10.31891/csit-2023-1-2