МУЛЬТИМОДАЛЬНЕ ГЛИБОКЕ НАВЧАННЯ ДЛЯ ПОКРАЩЕННЯ ДІАГНОСТИКИ МЕТАСТАЗІВ МЕЛАНОМИ

Анотація

Це дослідження представляє нову багатомодальну модель глибокого навчання для покращення прогнозування метастазів меланоми шляхом інтеграції патологічних зображень первинної меланоми з демографічною та клінічною інформацією пацієнтів. Наш підхід включає мережу для виявлення біомаркерів, модуль прогнозування глибини проникнення та механізм інтеграції інформації про пацієнта, що завершується класифікатором з повнозв’язним шаром для комплексної оцінки ризику метастазування. Мережа для виявлення біомаркерів, покращена за допомогою механізму просторової уваги, ідентифікує критичні біомаркери з високою чутливістю (92%) та специфічністю (88%). Модуль прогнозування глибини проникнення досягає середньої абсолютної похибки (MAE) 0,15 мм, значно покращуючи точність оцінки глибини. Інтегруючи інформацію про пацієнта за допомогою унікального методу гарячого кодування, наша модель враховує міжвипадкові варіації, що дозволяє робити персоналізовані прогнози. Класифікатор з повнозв’язним шаром досягає загальної точності 87%, перевершуючи традиційні методи, такі як класифікація за Бреслоу та Кларком, а також одномодальні моделі глибокого навчання. Візуалізаційні техніки, такі як Gradient-weighted Class Activation Mapping (Grad-CAM), забезпечують інтерпретовані інсайти щодо процесу прийняття рішень моделлю. Наші результати демонструють ефективність багатомодального глибокого навчання в покращенні діагностики метастазів меланоми, пропонуючи надійний інструмент для клінічного прийняття рішень та персоналізованого планування лікування.