Уважаемые подписчики!
Наш небольшой творческий коллектив "Тандем Модемов" рад представить наш дебютный альбом, "Новый Век или Парадокс Моравека"!
К каждой песне мы создали клип при помощи современных ИИ.

Надеюсь, в эти нелегкие времена наши песни передадут вам частичку нашего оптимизма и уверенности в светлом будущем всего человечества.

Приятного просмотра!

Ссылка на плейлист:
https://www.youtube.com/playlist?list=PLcePLS792_7IPTx-vUBrWUWKYFl0VKxrY

https://habr.com/ru/articles/815865/

Написал про наш альбом статью на Хабр, сопроводив описаниями и ссылками на упомянутых в песнях людей и их открытия.

https://youtu.be/hVxk2jIOq-M?si=olfPE16SkQr_30xZ

Неудачные дубли из частушек, под соответствующую музыку.
Осторожно, местами крипово)

Однодневный проект. Ну, или скорее "одночасовой".

Вчера вышла Stable Diffusion 3, доступна для скачивания на Hugging Face.
В отличие от прошлых версий, она может генерить неплохой пиксель-арт (у прошлых всё было очень плохо с такими запросами).
И, что удивительно - она влезает в мою древнюю GTX 1080 (во всяком случае, версия SD 3 Medium).

Написал по-быстрому бота для телеги, который пинает локальную SD 3, генеря красивые пиксель-артные сцены, и постит их в отдельный канал. На моей железке такая генерация занимает минут 15, соответственно, постит он примерно каждые 15 минут.
Не думаю, что я буду в таком режиме его гонять прямо неделями, но пока пусть поработает, поисследует пространство состояний.

https://t.me/pixel_diffusion

Если кому нужно - запустить SD3 локально не просто, а очень просто:

from diffusers import StableDiffusion3Pipeline
from PIL import Image

pipeline = StableDiffusion3Pipeline.from_pretrained("stabilityai/stable-diffusion-3-medium-diffusers", text_encoder_3=None, tokenizer_3=None,  torch_dtype=torch.float16).to('cuda')

image = pipeline(prompt=prompt, width=1024, height=1024).images[0]

image.save(f_name)

С одной стороны в сложных сценах SD3 иногда допускает ошибки. Пейзажи ей удаются, как правило, лучше.
С другой - оно того иногда стоит. Ну где ещё увидишь, как по старой площади человек выгуливает жопу?)

Эх, я теперь хочу эту картинку анимированную.

Charming old town square during a festival, Pixel art with a monochrome palette and high detail

Кто там интересовался, может ли ИИ анимировать пиксель-арт картинки? Может. С психоделическим результатом.

Анимирующий ИИ Haiper плохо справляется с пиксель-артом. Но зато генерирует очень психоделические видео.

Knock, knock, Neo.

Сетка выучила стиль портретов из старых RPG от Westwood.

Учу нейросетку, периодически валидирую результат на наборе промптов. Вообще-то в промпте был только Киану, но, похоже, тут рядом с ним сидит Шевчук. И Киану ему явно не очень доверяет.

Попробовал анимировать картинку при помощи Luma.
Оказалось, что Киану доверился Шевчуку, после того как тот сыграл ему на губной гармошке!

- Ничего моя сеть не оверфитнулась!

Тем временем моя сеть

По-моему этот инопланетянин слишком мало времени уделяет пилотированию своего корабля и слишком много - своим соц. сетям.
Хватит позировать, у тебя вон корабль уже в землю врос!

Интерполяция между двумя промптами в латентном пространстве

Разница между обучением сетки без нормализации получаемых от среды наблюдений (синий график) и с нормализацией (красный график).