Учёные НГТУ НЭТИ научили нейросеть отличать реальные снимки от сгенерированных
Специалисты Новосибирского государственного технического университета НЭТИ разработали методику, которая автоматически определяет, является ли изображение настоящей фотографией или создано нейросетью.
Отличить синтетическое изображение от реального становится всё сложнее, а это грозит распространением фейков, подделкой улик и нарушением авторских прав. Учёные сравнили алгоритмы и выяснили, что лучший результат даёт подход на основе Vision Transformer, который анализирует изображение целиком, а не по фрагментам.
«Мы не просто обучили нейросеть, а исследовали, как разные модели „видят“ картинку. Установили, что свёрточные сети фокусируются на локальных текстурах, а трансформеры улавливают взаимосвязи во всём кадре. Это позволяет им замечать равномерно распределённые артефакты, характерные для генерации», — рассказал руководитель проекта, ассистент кафедры автоматизированных систем управления НГТУ НЭТИ Егор Антонянц.
Тестирование показало точность 89%. Метод не требует десятков тысяч размеченных примеров и не теряет точность при сжатии изображений — его планируют внедрять в системы проверки контента для СМИ, соцсетей и правоохранительных органов.
