«Дипфейк» вместо пикселей на лице

Разработчики из Норвегии обучили нейросеть реалистично заменять лица настоящих людей на анонимные лица, созданные компьютером. Эта технология позволит сохранить приватность людей на фотографиях.

Иногда в новостях и журналистских расследованиях реальные имена людей изменены. Это может быть обусловлено желанием самих героев той или иной истории или, например, интересами следствия в случае расследования преступлений.

Когда речь идет о тексте, достаточно заменить имя. Но для того, чтобы сохранить анонимность людей на фото или видео, их лица приходится закрывать черным прямоугольником или превращать в пиксели, а голос изменять по высоте.

Норвежские разработчики предложили способ изменения снимков, который позволяет заменять лица реальных людей на сгенерированные нейросетью. Новая технология позволяет не раскрывать личности реальных людей, но и не добавлять некрасивые черные прямоугольники и не размывать лица. Обычно для зрителя не принципиально, как именно выглядит герой – важна суть рассказа. Это как с именами, только вместо псевдонима реалистичная компьютерная маска.

Группа разработчиков из Норвежского университета естественных наук и технологий объединила несколько алгоритмов обработки изображений в одну нейросеть, которая в течение 17 дней обучалась на датасете из 40 миллионов фотографий. Исходный код программы выложен на GitHub.

Замена лиц на изображении происходит в несколько этапов. Сначала исходный снимок обрабатывает нейросеть S3FD, которая размечает на фото прямоугольные области с лицами. Затем нейросеть Mask R-CNN размечает в этих областях ключевые точки: глаза, нос, уши, плечи. После расчета ключевых точек лица закрашиваются серым, а затем пиксели раскрашиваются в рандомные цвета. Последний шаг – собственно генерирование новых лиц – выполняет нейросеть U-Net. Она получает уже анонимизированные изображения и встраивает в них новые лица по ключевым точкам.

Важная особенность технологии в том, что нейросеть не сохраняет исходное изображение лица, а значит не нарушает Общий регламент по защите данных (GDRP), который регулирует работу с личными данными пользователей в Европе.