SHIFT PARAMETER ESTIMATION FOR IMPLICIT NEURAL REPRESENTATIONS OF IMAGES

Abstract

Неявні нейронні репрезентації моделюють зображення як неперервні функції координат, що дає змогу виконувати обробку сигналів без дискретизації. Водночас перевірка того, чи відрізняються два зображення лише паралельним зсувом, як  правило  здійснюється методами, які потребують дискретного подання або глобальних агрегувань, що ускладнює їх пряме застосування до неявних моделей і суперечить їхній неперервній природі. Метою роботи є запропонувати та обґрунтувати алгоритм, який визначає, чи пов’язані дві неявні нейронні репрезентації зображення паралельним зсувом, використовуючи лише значення похідних до другого порядку, а також забезпечити оцінювання параметра зсуву. Запропонований підхід ґрунтується на локальній лінеаризації оператора зсуву та використанні аналітично доступних похідних, отриманих за допомогою автоматичного диференціювання в межах неявної моделі. Критерій узгодженості будується на перевірці стабільності оціненого зсуву на множині точок області визначення. Для підвищення надійності локальні оцінки агрегуються з використанням робастних процедур разом із перевірками узгодженості, що зменшують вплив неоднорідних ділянок сигналу. Розроблено критерій виявлення зсувної еквівалентності двох неявних репрезентацій та процедуру оцінювання параметра зсуву. Показано, що запропонований критерій узгоджується з неперервною природою неявних моделей, не потребує декодування у піксельну ґратку та є придатним для застосування до моделей, у яких похідні доступні аналітично. Запропонований підхід має наукову новизну у вигляді тесту зсувної еквівалентності для неявних нейронних репрезентацій та практичну значущість як інструмент для швидкої перевірки узгодженості, валідації та попередньої нормалізації даних у задачах комп’ютерного бачення.

Отримані результати застосовні в сценаріях, де зображення або поля вже представлені як неявні нейронні представлення, також відомі як нейронні поля. Це включає автоматизовану перевірку узгодженості реконструкцій, попереднє вирівнювання або нормалізацію перед подальшою обробкою, контроль правильності об'єднання полів та підготовку даних у завданнях комп'ютерного зору. Рекомендується використовувати метод першого порядку як швидку ініціалізацію, а метод другого порядку як уточнення для більших переміщень або текстурованих областей. Для стабільного використання методу другого порядку слід вибирати гладкі архітектури INR, а якість апроксимації INR повинна бути достатньо високою, що підтверджено метриками MSE та PSNR.