Помните, были дипфейки раньше популярны? На их основе еще всякие мошенники делали картинки/видео с разными людьми и деньги вымогали.

Нас ждет новое поколение дипфейков, основанное на диффузионных моделях, способных изменять картикни. Например, на тех, о которых выше были посты. Подобные модели ужекачественно меняют детали изображений, а через пару месяцев-лет, верю, докрутят еще получше.

Встает вопрос: как от этого защититься? Как сделать так, чтобы из селфи из инстаграма не нагенерили дипфейков?

Исследователи из MIT занялись этой проблемой и сделали тулзу, которая добавляет к вашей картинке небольшой шум и делает так, что вашу картинку не получится изменить, используя диффузионную модель. Короче, они изобрели adversarial attack на диффузионные модели. Общая иллюстрация идеи — на картинке к посту.

Атака работает привычным нам способом. Модель для измнения картинок — это обычная text-to-image диффузия с condition’ом в виде картинки, которую нужно изменить. Есть два варианта атаки на такую модель: атака только на механизм condition и атака на всю систему целиком.

- Атака на condition mechanism. Идея: мы пытаемся так несильно изменить входящее изображение, чтобы его эмбеддинг был как можно ближе к эмбеддингу случайной картинки. Это заставляет tetx-to-image модель игнорировать детали входящей картинки и генерировать абсолютно новую картинку, основываясь только на тексте. Пример работы — 2 картинка к посту.
- Атака на всю сеть. Это обычная adversarial attack по типу FGSM с единственным нюансом: градиенты считаются только на последних четырех шагах диффузии. Но этого оказывается достаточно, чтобы сломать процесс изменения картинки. Пример работы этой атаки — на 3 картинке к посту.

Ограничения такого подхода такие же, что и у любых adversarial атак:
- работает для конкретной модели, т.е. white-box;
- требует довольно большого количества памяти (но работает при этом довольно быстро)


Ссылки:
- Блогпост от MIT.
Позащищать свои селфи перед загрузкой в запрещеннограм:
- Код на GitHub.

🧠 3-4 декабря Яндекс проведет YaTalks — свою главную конференцию для IT-сообщества. Программа состоит из четырех тематических треков — про мобайл, бэкенд, фронтенд и, конечно, ML. На конференции выступят более 100 экспертов из международных и российских компаний. 

Программа трека про машинное обучение очень насыщенная.
🔹 Например, Алексей Гусаков расскажет о том, как развивался ML в Яндексе и как в компании взаимодействуют R&D и бизнес.
🔹 Спикеры из Яндекса, СберМаркета, Ozon и SupportAI подискутируют о роли ML в электронной коммерции.
🔹 Стоит послушать дискуссию и про модную тему генерации изображений нейросетями — как они работают, какие возможности открывают и как изменят работу дизайнеров и иллюстраторов.
🔹 Сергей Орешков из MaritimeAI поднимет тему нестандартного применения ML — в экомониторинге: он расскажет, как нейросети, например, помогают отслеживать чистоту Байкала.
🔹 Наконец, нельзя пропустить доклад про нейродубляж: Сергей Дуканов, руководитель команды перевода видео Яндекса, расскажет, как работает технология нейросетевого закадрового перевода, разработанная в Яндексе.

Кстати, благодаря нейросетевому переводу, трансляцию YaTalks можно будет смотреть в прямом эфире как на русском, так и на английском языках.

Кроме докладов будут и другие форматы: random coffee, питчинги opensource-проектов и индивидуальные консультации с экспертами, с которыми можно обсудить новые технологии, профессиональное развитие в IT, работу с командой и многое другое. 

👉 Чтобы принять участие в конференции, нужно зарегистрироваться.