Нейронавт | Нейросети в творчестве
13.4K subscribers
7.38K photos
5.8K videos
51 files
7.51K links
Канал про нейросети в компьютерной графике, в кино и вообще

В папках и запусках не участвую

для связи @Neuronauticus

РКН: https://hf.ru/link8e56d
Download Telegram
This media is not supported in your browser
VIEW IN TELEGRAM
Sapiens2

Семейство высокоразрешающих трансформерных моделей от Meta (запрещено в РФ)

• оценивает позу (308 ключевых точек)
• сегментирует части тела (29 классов)
• рассчитывает нормали поверхности
• создаёт pointmap

Веса от 0,4B до 5 B параметров, разрешение до 4K (4096×3072)

Сгодится для создания аватаров, AR/VR и реконструкции человека

GitHub: https://github.com/facebookresearch/sapiens2
Hugging Face: https://huggingface.co/facebook/sapiens2

#hmr #humanreconstruction #video2normals #segmentation #video2pose
🔥8
P-Video-Avatar

Аватарошная от Pruna AI
Анимирует портрет, синхронизирует губы с аудио или текстом.

• анимирует статичное портретное фото
• озвучивает текст 30 голосами на 10 языках
• синхронизирует движение губ с аудио
• принимает голосовой промпт для речи и видеореференс для движения

Разрешение 720p ($0,025/сек) или 1080p ($0,045/сек). Поддерживает JPG, JPEG, PNG, WEBP → MP4

Да, все платное, увы

API
Replicate

#talkinghead #portraitanimation #avatar #lipsync #talkinghead
👍5
SillyTavern

Фронтенд‑интерфейс для работы с языковыми моделями

• подключает локальные и облачные ИИ‑модели (Oobabooga, OpenAI, Gemini и др.)
• настраивает персонажей — прописывает характер, предысторию, манеру речи
• озвучивает ответы через TTS (Coqui TTS, ElevenLabs и т. д.)
• настройка параметров генерации (temperature, top‑p, repetition penalty)
• поддерживает ролевые игры с трекером квестов и инвентарём
• работает в мультипользовательском режиме
• экспортирует диалоги и персонажей

Win/Linux/macOS

требует настройки бэкенда и ресурсов (от 8 ГБ ОЗУ для локальных моделей)

#GUI #tools #llm
❤9
Spatial Studio

Платформа для 3D‑визуализации и иммерсивного сторителлинга на гауссианах, есть мобильная аппка для захвата сцен

• создание интерактивных сцен
• редактирование
• интеграция реальных данных в виртуальные среды
• настройка освещения и материалов
• публикация проекта для просмотра

Ориентирован на архитекторов, дизайнеров, девелоперов; поддерживает работу с большими сценами, можно делать виртуальные туры и шоурумы.

iOS - Spatial Lens, только захват
Галерея

#gaussian #ios #video2scene
👍5
Sulphur 2

LTX-2.3 без цензуры
————————

LTX2.3-10Eros

Мердж на базе Sulphur 2 для улучшения генерации видео по изображению

Спасибо @m_franz

#ltx23 #uncensored #optimization #t2v #i2v
🔥11
This media is not supported in your browser
VIEW IN TELEGRAM
С таким роботом уехать с АЗС с забытым в баке заправочным пистолетом будет стоить дороже автомобиля

#robot
😁4👍2❤1
UniGenDet

Единый фреймворк на базе BAGEL для генерации изображений и обнаружения изображений, сгенерированных любыми ИИ

• генерирует изображения с учётом критериев аутентичности
• детектирует сгенерированные изображения
• обменивается сигналами между генерацией и детекцией
• повышает реализм генерируемых картинок
• улучшает интерпретируемость детекции

Точность детекции на FakeClue — 98 %, F1‑score — 97,7 %

Гитхаб
HF

#detection #t2i #realism
👍2🤷‍♂1
Obscura Remova

Лора LTX-2.3 для удаления переднеплановых объектов, перекрывающих вид

Похоже, таким образом можно восстанавливать хвосты мягких переходов монтажа

#videoinpainting #objectremoval #ltx23 #lora
❤11🔥8👍4
Media is too big
VIEW IN TELEGRAM
#работыподписчиков

Автор: Pavel Gnilomedov

Это моя первая работа в нейросетях, которую можно назвать завершенной. Я хотел показать мрачную историю. Было несколько идей, но данный вариант мне понравился из-за резкой смены ролей героев, где мучитель и жертва меняются местами.
Идея для ролика уже была у меня в голове, с помощью Gemini я собрал сюжет, а черновую раскадровку сделал в Nano Banana.

Во избежание рандомных генераций была выстроена четкая цепочка производства для максимального контроля над картинкой и персонажами.

Для начала я собрал референсы локаций и персонажей в Pinterest. Сформировал образы в Nano Banana, где я подготовил референсы персонажей с разных ракурсов. После этого я на основе изображений создал модельки в Hunyuan3D.
Моделям накинул риг и отправил в заранее собранную локацию в Unreal Engine, чтобы точно выставить позы и композицию кадров. На основе черновой раскадровки я сделал скриншоты в UE в режиме Lit - это позже дало нейронке готовую карту света и теней, которую не нужно в последствии описывать нейросети, а лишь немного направить в нужном направлении.

Черновики из движка я прогнал через Nano Banana, чтобы довести визуал до финального качества. Затем сборка в Photoshop: склеивал лучшие куски генераций, чтобы получить качественные ключевые кадры.

Видео генерировал в Kling 3.0 (1080p). Использовал либо одно, либо два изображения (первый/последний кадр), где это было необходимо.
Так же воспользовался бесплатными приветственными кредитами на weavy, которые потратил на генерацию в kling 2.6 в 720p. Получил там пару удачных шотов.

На финальном монтаже для лучшей читаемости повествования было принято решение убрать некоторые кадры, а кое-какие, наоборот, добавить
Монтаж и композ был сделан в After Effects.

Музыка из фонотеки Youtube
Kling использовался через агрегатор Syntx
Nano banana через gemini.google.com
Для апскейла видео в некоторых случаях использовался Topaz
Денег было потрачено 1700р на подписку Syntx и 400р на покупку аккаунта Gemini с Nano Banana.
🔥14👍5❤2🤝1