LLM-КЕРОВАНА ГЕНЕРАЦІЯ ЗАПИТІВ ДЛЯ ГРАФОВОЇ БІЗНЕС-АНАЛІТИКИ: СТВОРЕННЯ ІНСТРУМЕНТУ СПІЛЬНОГО ОТРИМАННЯ ЗНАНЬ

Анотація

У цій роботі досліджується використання великих мовних моделей (LLMs) для підтримки колаборативної бізнес-аналітики у сфері туризму через два ключові завдання: вилучення тегів, пов’язаних із подорожами, із запитів користувачів, та генерація  Cypher-запитів для доступу до бази графів знань. Ми зосереджуємося на оцінці продуктивності компактних та ефективних LLM, прагнучи збалансувати точність та обчислювальні витрати. Для оцінки вилучення тегів ми протестували Phi-3 Mini, LLaMA 3.2 та Gemma3 за допомогою фреймворку DeepEval із оцінюваннямG-Eval. Phi-3 Mini показала найкращий баланс між точністю та ефективністю, тоді як Gemma 3 досягла найвищих результатів, але з більшими витратами ресурсів. Для генерації Cypher-запитів ми протестували більш потужні моделі: Mistral Small 3.1, Phi-4, Gemma 3 та ChatGPT-4o. ChatGPT-4o досягла найвищої правильності, тоді як Mistral Small продемонструвала найкращий компроміс серед менших моделей. Наші результати свідчать, що легкі LLM підходять для базових задач обробки природної мови, проте генерація структурованих запитів залишається складною і потребує потужніших моделей. Подальші дослідження необхідні для підвищення надійності згенерованих запитів та розробки надійних механізмів валідації.