Forwarded from Ряды Фурье
У математиков случилось то, что скоро случится почти в любой профессии. Матокалипсис!
За драмой можно наблюдать прям сейчас, там очень весело и интересно. Началось с того, что в августе OpenAI собрала 40 математиков на встречу с интригующим названием «Конец математики». Если коротко — в одном из вариантов человеческая помощь моделям нафиг уже не нужна, спасибо, мясные, отойдите, пожалуйста.
Ещё математики там попросили публиковать всё статьями, но OpenAI всё выбросила постами, типа, сношайтесь там сами. Пока они сношались, то заметили, что идеи машинных доказательств бывают подозрительно похожи на их неопубликованные наработки, которые они обсуждали с OpenAI.
8 сентября OpenAI сказала, что её закрытая модель решила проблему Навье-Стокса. Это, если что, штука, которую люди решить не могли. За пару часов до этого ещё один товарищ со спецом из Антропика шли тем же путём и были близко, но OpenAI узнала про это и рванула наперегонки. Ещё ему предложили сделку (с его слов): писать статью вместе с OpenAI, но без коллеги Альпёге, потому что тот работает у конкурента. OpenAI сказали, что это всё ужасная ошибка, и они взяли 10 тысяч агентов на 88 часов.
Дальше офигенная цепочка событий:
— 25 топовых математиков подписали декларацию: цели ИИ-компаний и математики резко расходятся, результаты объявляются в спешке, без нормального изложения и ссылок на предшественников, что пахнет плагиатом.
— OpenAI сняла спонсорство с одного из мероприятий, где было дофига участников декларации.
— OpenAI завела консультативную группу математиков. Группа сразу попросила не гонять сложные задачи на закрытых моделях.
— 6 октября выложила 722 рукописи закрытой модели и сказала, что сношайтесь всё же, потому что тут многие результаты не понимают даже встроенные в компанию математики. Вроде, за день до этого учёные в панике публиковали свои неоконченные работы, чтобы их не обогнали.
— Объяснили такой скотский подход (с точки зрения математиков) тем, что OpenAI и Anthropic готовятся к IPO.
— Крупная ассоциация математиков предложила объявить бойкот OpenAI. В них в ответ покидали деньгами.
Дальше жопа сгорела у всего сообщества, потому что несмотря на скотский подход, доказательства-то реальные, и наука двигается. Можно истерить, но наука двигается. Но там море проблем:
— У многих опустились руки — нет смысла думать над такими задачами, потому что робот всё решит.
— Есть такой Йорг Нойнхойзерер, который всю жизнь решал три задачи и не решил, а ChatGPT походя их закрыл. Ну сорян, чо.
— Профессор Лосано-Робледо опубликовал письмо студента, который мечтал об академической карьере, а теперь не понимает, останется ли в математике место для кого-то, кроме гениев. Таких писем вроде бы много много. Процесс тоже поменялся: аспирантам теперь спускают машинные доказательства на переписывание.
В итоге ответов стало слишком много, и срочно нужны люди, которые встроят их в понятное знание. Но это ровно та работа, ради которой в математику никто не шёл. Шли вообще-то искать сами, а тут предлагают помогать роботу.
Тут работа про то, как проверять доказательства, потому что моделям верить на слово нельзя. Предлагают точно так же, как в разработке — писать скрипт и исполнять. Конкретно выгружать доказательство на языке Lean, который исполняется компилятором. Собственно, основная проблема теперь — оно стало всё проверяемо, но НИХРЕНА НЕПОНЯТНО, как работает.
За последнюю неделю выяснилось, что Lean-формализация Навье-Стокса не совпадает с доказательством в самой статье, так что третья черепаха врёт. Ну и предложили математику 2.0 — решать не надо, надо объяснять.
Добро пожаловать в матокалипсис!
--
Вступайте в ряды Фурье! | Лучшие посты
350 лет без рекламаций! Без документации! Без инструкций! Без поддержки! Теорема Ферма!
За драмой можно наблюдать прям сейчас, там очень весело и интересно. Началось с того, что в августе OpenAI собрала 40 математиков на встречу с интригующим названием «Конец математики». Если коротко — в одном из вариантов человеческая помощь моделям нафиг уже не нужна, спасибо, мясные, отойдите, пожалуйста.
Ещё математики там попросили публиковать всё статьями, но OpenAI всё выбросила постами, типа, сношайтесь там сами. Пока они сношались, то заметили, что идеи машинных доказательств бывают подозрительно похожи на их неопубликованные наработки, которые они обсуждали с OpenAI.
8 сентября OpenAI сказала, что её закрытая модель решила проблему Навье-Стокса. Это, если что, штука, которую люди решить не могли. За пару часов до этого ещё один товарищ со спецом из Антропика шли тем же путём и были близко, но OpenAI узнала про это и рванула наперегонки. Ещё ему предложили сделку (с его слов): писать статью вместе с OpenAI, но без коллеги Альпёге, потому что тот работает у конкурента. OpenAI сказали, что это всё ужасная ошибка, и они взяли 10 тысяч агентов на 88 часов.
Дальше офигенная цепочка событий:
— 25 топовых математиков подписали декларацию: цели ИИ-компаний и математики резко расходятся, результаты объявляются в спешке, без нормального изложения и ссылок на предшественников, что пахнет плагиатом.
— OpenAI сняла спонсорство с одного из мероприятий, где было дофига участников декларации.
— OpenAI завела консультативную группу математиков. Группа сразу попросила не гонять сложные задачи на закрытых моделях.
— 6 октября выложила 722 рукописи закрытой модели и сказала, что сношайтесь всё же, потому что тут многие результаты не понимают даже встроенные в компанию математики. Вроде, за день до этого учёные в панике публиковали свои неоконченные работы, чтобы их не обогнали.
— Объяснили такой скотский подход (с точки зрения математиков) тем, что OpenAI и Anthropic готовятся к IPO.
— Крупная ассоциация математиков предложила объявить бойкот OpenAI. В них в ответ покидали деньгами.
Дальше жопа сгорела у всего сообщества, потому что несмотря на скотский подход, доказательства-то реальные, и наука двигается. Можно истерить, но наука двигается. Но там море проблем:
— У многих опустились руки — нет смысла думать над такими задачами, потому что робот всё решит.
— Есть такой Йорг Нойнхойзерер, который всю жизнь решал три задачи и не решил, а ChatGPT походя их закрыл. Ну сорян, чо.
— Профессор Лосано-Робледо опубликовал письмо студента, который мечтал об академической карьере, а теперь не понимает, останется ли в математике место для кого-то, кроме гениев. Таких писем вроде бы много много. Процесс тоже поменялся: аспирантам теперь спускают машинные доказательства на переписывание.
В итоге ответов стало слишком много, и срочно нужны люди, которые встроят их в понятное знание. Но это ровно та работа, ради которой в математику никто не шёл. Шли вообще-то искать сами, а тут предлагают помогать роботу.
Тут работа про то, как проверять доказательства, потому что моделям верить на слово нельзя. Предлагают точно так же, как в разработке — писать скрипт и исполнять. Конкретно выгружать доказательство на языке Lean, который исполняется компилятором. Собственно, основная проблема теперь — оно стало всё проверяемо, но НИХРЕНА НЕПОНЯТНО, как работает.
За последнюю неделю выяснилось, что Lean-формализация Навье-Стокса не совпадает с доказательством в самой статье, так что третья черепаха врёт. Ну и предложили математику 2.0 — решать не надо, надо объяснять.
Добро пожаловать в матокалипсис!
--
Вступайте в ряды Фурье! | Лучшие посты
1🫡5❤3👍3😭2👎1🔥1
MOSS-Image AMA: разработчик ответил на вопросы на реддит
5B модель, делали полгода, упор на текст в картинке, управление композицией и базу под дообучение.
Что выяснилось
• Сборка для ComfyUI перевалила за 354 тысячи скачек
• Модель чувствительна к сиду и выдает очень разные картинки, на коротких промптах управлять трудно. На длинных один сид держит стабильно, а правка промпта при том же сиде работает как редактирование
• В официальной сборке ComfyUI полный VAE FLUX.2, в их чекпойнте маленький декодер: убирает пятна и артефакты
• Мыло лечится негативом "blurry"
• AI-картинки из датасета вычищали, часть просочилась, отсюда вкус чатжпт в аниме
Планы
• Ближайшее, аниме-версия: аниме-данных было мало, результатом недовольны
• Edit-модель обсуждают, но для i2i нужны парные датасеты, малой команде тяжело
• XL на 10-12 млрд думают
• Пайплайн подписей на Gemma 4 и prompt enhancer обещают
• Автор советует Base вместо SFT: у SFT бандинг и специфичный стиль
Реддит уже банил пост, но сейчас он открыт, вопросы все еще можно задавать
#mossimage #ama
MAX
5B модель, делали полгода, упор на текст в картинке, управление композицией и базу под дообучение.
Что выяснилось
• Сборка для ComfyUI перевалила за 354 тысячи скачек
• Модель чувствительна к сиду и выдает очень разные картинки, на коротких промптах управлять трудно. На длинных один сид держит стабильно, а правка промпта при том же сиде работает как редактирование
• В официальной сборке ComfyUI полный VAE FLUX.2, в их чекпойнте маленький декодер: убирает пятна и артефакты
• Мыло лечится негативом "blurry"
• AI-картинки из датасета вычищали, часть просочилась, отсюда вкус чатжпт в аниме
Планы
• Ближайшее, аниме-версия: аниме-данных было мало, результатом недовольны
• Edit-модель обсуждают, но для i2i нужны парные датасеты, малой команде тяжело
• XL на 10-12 млрд думают
• Пайплайн подписей на Gemma 4 и prompt enhancer обещают
• Автор советует Base вместо SFT: у SFT бандинг и специфичный стиль
Реддит уже банил пост, но сейчас он открыт, вопросы все еще можно задавать
#mossimage #ama
MAX
Reddit
From the StableDiffusion community on Reddit: Hey guys! I'm one of the core developers of MOSS-Image. AMA!
Explore this post and more from the StableDiffusion community
👍8🔥3
This media is not supported in your browser
VIEW IN TELEGRAM
EdenLive
Генеративная отрисовка видео в реальном времени
VAST выложили модель которая превращает черновой прокси-стрим в готовое видео
Что на входе
• Поток прокси из 2D или 3D сцены, игрового движка или записи
• Первый кадр и текстовый промпт
• Внешний код держит состояние сцены и взаимодействие, модель отвечает за картинку
Как устроено
• Управление идет через пост-обученный кодировщик DINOv3: признаки кадра прокси подаются в диффузионный трансформер
• Две ветки: 14B на Wan2.1 I2V для 480p и 5B на Wan2.2 для 720p, у каждой двунаправленный и потоковый режим
• Поток собирается чанками по 4 шага, декодер TAEHV дает 24 FPS и выше
• Есть демо на несколько минут, 5B в 720p работает на одной карте
Что с весами
• Около 210 ГБ ‼️, все компоненты в одной папке
• Блок на FLUX.2 klein нужен только для первого кадра в реальном времени, лицензия некоммерческая
huggingface.co/VAST-AI/EdenLive
github.com/VAST-AI-Research/EdenLive
#rendering #v2v #realtime
Генеративная отрисовка видео в реальном времени
VAST выложили модель которая превращает черновой прокси-стрим в готовое видео
Что на входе
• Поток прокси из 2D или 3D сцены, игрового движка или записи
• Первый кадр и текстовый промпт
• Внешний код держит состояние сцены и взаимодействие, модель отвечает за картинку
Как устроено
• Управление идет через пост-обученный кодировщик DINOv3: признаки кадра прокси подаются в диффузионный трансформер
• Две ветки: 14B на Wan2.1 I2V для 480p и 5B на Wan2.2 для 720p, у каждой двунаправленный и потоковый режим
• Поток собирается чанками по 4 шага, декодер TAEHV дает 24 FPS и выше
• Есть демо на несколько минут, 5B в 720p работает на одной карте
Что с весами
• Около 210 ГБ ‼️, все компоненты в одной папке
• Блок на FLUX.2 klein нужен только для первого кадра в реальном времени, лицензия некоммерческая
huggingface.co/VAST-AI/EdenLive
github.com/VAST-AI-Research/EdenLive
#rendering #v2v #realtime
🤯11👍3❤2
Опубликован код Gaussian Light Transport - глобальное освещение как смесь 13-мерных гауссиан
github.com/StokastX/gaussian-light-transport
#gaussian #GI #rendering
———
В AReA прикрутили поддержку #ideogram4 (был только FLUX.1-Krea-dev)
github.com/KooroshRH/AReA
#4k #t2i
MAX
github.com/StokastX/gaussian-light-transport
#gaussian #GI #rendering
———
В AReA прикрутили поддержку #ideogram4 (был только FLUX.1-Krea-dev)
github.com/KooroshRH/AReA
#4k #t2i
MAX
Telegram
Нейронавт | Нейросети в творчестве
Gaussian Light Transport
Глобальное освещение — как смесь 13-мерных гауссиан.
Что-что❓❓❓
(SIGGRAPH Asia 2026)
Новый способ считать глобальное освещение в 3D-сцене. Вместо того чтобы гонять тысячи лучей, GLT упаковывает освещение сцены в компактную смесь…
Глобальное освещение — как смесь 13-мерных гауссиан.
Что-что❓❓❓
(SIGGRAPH Asia 2026)
Новый способ считать глобальное освещение в 3D-сцене. Вместо того чтобы гонять тысячи лучей, GLT упаковывает освещение сцены в компактную смесь…
🔥4👍1
This media is not supported in your browser
VIEW IN TELEGRAM
VideoMaMa++
NeurIPS 2026, KAIST. Модель делает альфа-мат из маски и видео, включая волосы и тонкие края
Предыдущая версия
• Диффузионный бэкбон тянет только 6-24 кадра, поэтому видео режется на чанки
• Каждый чанк уточняет маску сам по себе, на стыках скачут края и прозрачность
Как решают
• RGB и маска идут отдельными потоками токенов, сводит их полное пространственно-временное внимание
• Две обучаемые метки на кадр: preserve держит готовый мат как образец, refine превращает грубую маску в точную
• Скользящее окно передает мат из прошлого чанка в следующий, глобальный якорь не дает ошибке накапливаться
• Дообучения под длинные ролики не нужно
• Лучший результат по всем метрикам на трех бенчмарках
github.com/cvlab-kaist/VideoMaMa-PlusPlus - ждем
#segmentation #mask2matte #video2matte
MAX
NeurIPS 2026, KAIST. Модель делает альфа-мат из маски и видео, включая волосы и тонкие края
Предыдущая версия
• Диффузионный бэкбон тянет только 6-24 кадра, поэтому видео режется на чанки
• Каждый чанк уточняет маску сам по себе, на стыках скачут края и прозрачность
Как решают
• RGB и маска идут отдельными потоками токенов, сводит их полное пространственно-временное внимание
• Две обучаемые метки на кадр: preserve держит готовый мат как образец, refine превращает грубую маску в точную
• Скользящее окно передает мат из прошлого чанка в следующий, глобальный якорь не дает ошибке накапливаться
• Дообучения под длинные ролики не нужно
• Лучший результат по всем метрикам на трех бенчмарках
github.com/cvlab-kaist/VideoMaMa-PlusPlus - ждем
#segmentation #mask2matte #video2matte
MAX
❤6👍2🔥1
UniForge3D Windows 8 GB VRAM
Форк UniForge3D запускает модель на 3070 Ti на 8 ГБ, 64 ГБ оперативки, без conda и nvcc.
Что изменили
• Готовые wheel-пакеты вместо сборки: CuMesh, FlexGEMM, o_voxel, nvdiffrast и flash-attn лежат под cp311 win_amd64
• Поэтапная загрузка весов: пик денойзера 6,3 ГБ вместо 12, первый шаг через 21 секунду вместо 102
• Конвертация в fp16: диск с 41 до 19 ГБ, проверка тензор за тензором, результат бит в бит
• Скачивание с докачкой по частям
• Веб-интерфейс: 2-4 фото, просмотр и скачивание glb в браузере
Что на выходе
• prediction.glb с запеченными #PBR-текстурами
• Отдельно basecolor.png и metallic_roughness.png на 2048
• Один кейс около 240 секунд
• 16 ГБ оперативки не хватит: даже с флагом low-ram пик загрузки одной группы 23 ГБ
#lowvram #scenereconstruction #imageto3d
MAX
Форк UniForge3D запускает модель на 3070 Ti на 8 ГБ, 64 ГБ оперативки, без conda и nvcc.
Что изменили
• Готовые wheel-пакеты вместо сборки: CuMesh, FlexGEMM, o_voxel, nvdiffrast и flash-attn лежат под cp311 win_amd64
• Поэтапная загрузка весов: пик денойзера 6,3 ГБ вместо 12, первый шаг через 21 секунду вместо 102
• Конвертация в fp16: диск с 41 до 19 ГБ, проверка тензор за тензором, результат бит в бит
• Скачивание с докачкой по частям
• Веб-интерфейс: 2-4 фото, просмотр и скачивание glb в браузере
Что на выходе
• prediction.glb с запеченными #PBR-текстурами
• Отдельно basecolor.png и metallic_roughness.png на 2048
• Один кейс около 240 секунд
• 16 ГБ оперативки не хватит: даже с флагом low-ram пик загрузки одной группы 23 ГБ
#lowvram #scenereconstruction #imageto3d
MAX
🔥9👍2
#MossImage
huggingface.co/lodestones/Kromoss - Kromoss: файнтюн MOSS-Image-Base в 1024px, чинит мыльность, энкодер Qwen3.5-9B + FLUX.2 VAE. В комплекте 8-шаговая турбо LoRA
github.com/Rkkss/ComfyUI-Spectrum-MOSS - Spectrum для MOSS: «auto»-нода после модели. Тестировалось без турбо — приятный результат от 12 шагов на 1.3Mpx (1168px) за ~30 сек на 3060 12Gb. Kitchen Attention на MOSS скорости не помогает #optimization
huggingface.co/akhaliq/MOSS-Image-SFT-4-steps - 4-шаговая турбо LoRA для MOSS, вышла v2. Первая версия упрощала композицию
#LoRA #slider
huggingface.co/axiomofmind/Moss-image-gouache-lora - гуашь: винтажные рисованные иллюстрации и постеры
huggingface.co/axiomofmind/Moss-image-psychedelic-lora - психоделика: насыщенный неон, сюрреальные сюжеты, графичные формы
huggingface.co/Danrisi/nicegirls_v2_moss - nicegirls_v2 порт под MOSS, на низкой силе дает разнообразие лиц
github.com/HyperGAN/moss-image-sliders - слайдеры теплых/холодных тонов
civitai.com/models/3010015/moss-lighting-slider и huggingface.co/Playtime-AI/Moss-Image-Age_Slider - базовые слайдеры освещения и возраста
#comfyui
github.com/levzzz5154/ComfyUI-MOSS-PromptWeight - вес фразы в промпте: Qwen3.5 игнорирует обычные (word:1.2)-веса, нода применяет их внутри attention. Пример: (red hat:-1), (yellow flowers:1.5) #prompting
github.com/b4ldur/ComfyUI-MOSS-BBox1000 - конвертер BBox-раскладки 0–1000 для MOSS, независимый от разрешения. Ранняя версия ломалась на других разрешениях
github.com/xb1n0ry/ComfyUI-MOSS-Prompt-Enhancer - энхансер промптов: простой промпт → расширенное описание → JSON-макет с боксами → скомпилированный MOSS-промпт (компилятор из официального скилла). Есть caption-режим без боксов. Рекомендуется Qwen 3.8 27B Q4, 9B сойдёт
huggingface.co/mdevoz/qwen3.5_9b_ultra_uncensored_heretic_int8_convrot - абляция промпт-апсемплера MOSS (int8convrot). Оригинал: huggingface.co/llmfan46/Qwen3.5-9B-ultra-uncensored-heretic
#uncensored
github.com/spooky-local/MOSS-Layout-Editor - редактор раскладки: рисовать/двигать боксы, подписи регионов и рендеримый текст
github.com/0Printemps0/ComfyUI-MOSSLayout - второй визуальный редактор раскладки, форк ComfyUI-IdeogramHelper
huggingface.co/sorryhyun/moss-image-colorize - MOSS как раскрашиватель лайнарта: вход через vision-башню Qwen3.5 и как VAE-латент в DiT. Сохраняет линию, лица, надписи. Ноды img2img: github.com/sorryhyun/ComfyUI-MOSS-i2i
#controlnet
huggingface.co/darask0/MOSS-Image-color-depth-control - контрол-адаптер по карте цвет-регионов и карте глубины. ComfyUI-реализации пока нет
civitai.com/models/3010285/moss-color-and-depth-control - модел-патч к цвето/глубина-контролю MOSS — вместе работают как простой ControlNet. Воркфлоу на civitai.red
———
huggingface.co/MATLOWAI/MOSS-Image-SFT-DeBand-int8 - SFT с вшитым фиксом вертикальных цветных полос (de-banding), int8
github.com/shootthesound/Fizgig/releases/tag/v8.5.0 - Fizgig 8.5: поддержка MOSS для LoRA и слайдеров. Тренируется легко и быстро, хватит 12Gb. Совет автора: res_multistep + simple лучше euler. Spectrum при этом не ломается #finetuning
huggingface.co/lodestones/Kromoss - Kromoss: файнтюн MOSS-Image-Base в 1024px, чинит мыльность, энкодер Qwen3.5-9B + FLUX.2 VAE. В комплекте 8-шаговая турбо LoRA
github.com/Rkkss/ComfyUI-Spectrum-MOSS - Spectrum для MOSS: «auto»-нода после модели. Тестировалось без турбо — приятный результат от 12 шагов на 1.3Mpx (1168px) за ~30 сек на 3060 12Gb. Kitchen Attention на MOSS скорости не помогает #optimization
huggingface.co/akhaliq/MOSS-Image-SFT-4-steps - 4-шаговая турбо LoRA для MOSS, вышла v2. Первая версия упрощала композицию
#LoRA #slider
huggingface.co/axiomofmind/Moss-image-gouache-lora - гуашь: винтажные рисованные иллюстрации и постеры
huggingface.co/axiomofmind/Moss-image-psychedelic-lora - психоделика: насыщенный неон, сюрреальные сюжеты, графичные формы
huggingface.co/Danrisi/nicegirls_v2_moss - nicegirls_v2 порт под MOSS, на низкой силе дает разнообразие лиц
github.com/HyperGAN/moss-image-sliders - слайдеры теплых/холодных тонов
civitai.com/models/3010015/moss-lighting-slider и huggingface.co/Playtime-AI/Moss-Image-Age_Slider - базовые слайдеры освещения и возраста
#comfyui
github.com/levzzz5154/ComfyUI-MOSS-PromptWeight - вес фразы в промпте: Qwen3.5 игнорирует обычные (word:1.2)-веса, нода применяет их внутри attention. Пример: (red hat:-1), (yellow flowers:1.5) #prompting
github.com/b4ldur/ComfyUI-MOSS-BBox1000 - конвертер BBox-раскладки 0–1000 для MOSS, независимый от разрешения. Ранняя версия ломалась на других разрешениях
github.com/xb1n0ry/ComfyUI-MOSS-Prompt-Enhancer - энхансер промптов: простой промпт → расширенное описание → JSON-макет с боксами → скомпилированный MOSS-промпт (компилятор из официального скилла). Есть caption-режим без боксов. Рекомендуется Qwen 3.8 27B Q4, 9B сойдёт
huggingface.co/mdevoz/qwen3.5_9b_ultra_uncensored_heretic_int8_convrot - абляция промпт-апсемплера MOSS (int8convrot). Оригинал: huggingface.co/llmfan46/Qwen3.5-9B-ultra-uncensored-heretic
#uncensored
github.com/spooky-local/MOSS-Layout-Editor - редактор раскладки: рисовать/двигать боксы, подписи регионов и рендеримый текст
github.com/0Printemps0/ComfyUI-MOSSLayout - второй визуальный редактор раскладки, форк ComfyUI-IdeogramHelper
huggingface.co/sorryhyun/moss-image-colorize - MOSS как раскрашиватель лайнарта: вход через vision-башню Qwen3.5 и как VAE-латент в DiT. Сохраняет линию, лица, надписи. Ноды img2img: github.com/sorryhyun/ComfyUI-MOSS-i2i
#controlnet
huggingface.co/darask0/MOSS-Image-color-depth-control - контрол-адаптер по карте цвет-регионов и карте глубины. ComfyUI-реализации пока нет
civitai.com/models/3010285/moss-color-and-depth-control - модел-патч к цвето/глубина-контролю MOSS — вместе работают как простой ControlNet. Воркфлоу на civitai.red
———
huggingface.co/MATLOWAI/MOSS-Image-SFT-DeBand-int8 - SFT с вшитым фиксом вертикальных цветных полос (de-banding), int8
github.com/shootthesound/Fizgig/releases/tag/v8.5.0 - Fizgig 8.5: поддержка MOSS для LoRA и слайдеров. Тренируется легко и быстро, хватит 12Gb. Совет автора: res_multistep + simple лучше euler. Spectrum при этом не ломается #finetuning
👍7🔥2
Ming-3.0-audio
Понимание аудио напрямую, без текста посередине
• Нна выход текст или голос
• Две версии: flash на 126 млрд с 6,5 активными и tiny на 9,3 млрд с 2,7 активными
• Распознавание речи в шуме, с диалектами и акцентами, для нескольких говорящих
• Ответы на вопросы по содержимому аудио, рассуждения над звуком
• Понимает длинные записи, речь, шумы, музыку, обстановку
• Голосовой ответ с клонированием по референсу
• Основные языки - китайский и английский
• tiny живет на одной видеокарте
• У flash контекст на 128 тысяч токенов, нужны восемь H800
• Лицензия MIT
• Поднимается через vLLM-Omni и SGLang, OpenAI-совместимые эндпоинты
huggingface.co/inclusionAI/Ming-3.0-audio-flash
huggingface.co/inclusionAI/Ming-3.0-audio-tiny
github.com/inclusionAI/Ming-3.0-audio-flash
#alm #stt #tts #voicecloning
MAX
Понимание аудио напрямую, без текста посередине
• Нна выход текст или голос
• Две версии: flash на 126 млрд с 6,5 активными и tiny на 9,3 млрд с 2,7 активными
• Распознавание речи в шуме, с диалектами и акцентами, для нескольких говорящих
• Ответы на вопросы по содержимому аудио, рассуждения над звуком
• Понимает длинные записи, речь, шумы, музыку, обстановку
• Голосовой ответ с клонированием по референсу
• Основные языки - китайский и английский
• tiny живет на одной видеокарте
• У flash контекст на 128 тысяч токенов, нужны восемь H800
• Лицензия MIT
• Поднимается через vLLM-Omni и SGLang, OpenAI-совместимые эндпоинты
huggingface.co/inclusionAI/Ming-3.0-audio-flash
huggingface.co/inclusionAI/Ming-3.0-audio-tiny
github.com/inclusionAI/Ming-3.0-audio-flash
#alm #stt #tts #voicecloning
MAX
🔥4❤1👍1
Jockey
TwelveLabs выпустили чат-агента для видео и фотоархивов. Основа - их модели: Marengo кодирует содержимое (люди, объекты, звук, текст в кадре), Pegasus рассуждает о событиях и контексте.
• Отвечает на вопросы по всей библиотеке
• Находит нужные моменты и отвечает с таймкодами и ссылками на клипы
• Связывает связанные сцены из разных роликов, сравнивает и делает сводки
• Собирает первый черновик монтажа из удачных кадров
Подключение
• Ставится агенту как #MCP-коннектор
• Работает в Claude и ChatGPT
• Видео добавляется загрузкой файла или по ссылке, YouTube тянет напрямую
Для кого
• Креаторы, маркетинговые команды, спортивные и робототехнические проекты
• Любой, у кого накопился архив футажа, который лень пересматривать
Есть бесплатный тариф
Попробовать
#assistant #t2v #directing
MAX
TwelveLabs выпустили чат-агента для видео и фотоархивов. Основа - их модели: Marengo кодирует содержимое (люди, объекты, звук, текст в кадре), Pegasus рассуждает о событиях и контексте.
• Отвечает на вопросы по всей библиотеке
• Находит нужные моменты и отвечает с таймкодами и ссылками на клипы
• Связывает связанные сцены из разных роликов, сравнивает и делает сводки
• Собирает первый черновик монтажа из удачных кадров
Подключение
• Ставится агенту как #MCP-коннектор
• Работает в Claude и ChatGPT
• Видео добавляется загрузкой файла или по ссылке, YouTube тянет напрямую
Для кого
• Креаторы, маркетинговые команды, спортивные и робототехнические проекты
• Любой, у кого накопился архив футажа, который лень пересматривать
Есть бесплатный тариф
Попробовать
#assistant #t2v #directing
MAX
👍4
This media is not supported in your browser
VIEW IN TELEGRAM
FLUX 3 Max
Ускоренный FLUX 3 Video на fal
Ускорение сразу на трех уровнях: дообучение с reinforcement learning, оптимизация инференса, переделка серверного движка. Дообучение подняло движение, детализацию и следование промпту
• #t2v #i2v , ключевые кадры в видео
• Ролики до 20 секунд
• 720p с апскейлом до 1080p
• Генерация звука
• Все через API fal
• 10-секундный ролик за 10,95 секунды, у оригинала 126,44, ускорение в 11,5 раза
• Seedance 2.5 обходит в 22 раза при том же Elo
• 0,0425 доллара за секунду 720p, скидка 75% до 7 ноября
MAX
Ускоренный FLUX 3 Video на fal
Ускорение сразу на трех уровнях: дообучение с reinforcement learning, оптимизация инференса, переделка серверного движка. Дообучение подняло движение, детализацию и следование промпту
• #t2v #i2v , ключевые кадры в видео
• Ролики до 20 секунд
• 720p с апскейлом до 1080p
• Генерация звука
• Все через API fal
• 10-секундный ролик за 10,95 секунды, у оригинала 126,44, ускорение в 11,5 раза
• Seedance 2.5 обходит в 22 раза при том же Elo
• 0,0425 доллара за секунду 720p, скидка 75% до 7 ноября
MAX
👍4
OmniPoser
мокап без маркеров. Но нужны сенсоры или уже извлеченные ключевые точки, модель достраивает недостающие суставы. Пригодится для VR, аватаров, робототехники и анимации.
Раньше под каждый набор сенсоров учили свою модель, здесь одна архитектура на все
• На вход любые комбинации датчиков, включая верх тела, пять точек VR или только голову
• Понимает, каких суставов нет, и достраивает их по смыслу, а не нулями
• Отдает готовый SMPL: поза, форма, контакт стоп с полом, глобальная траектория без дрейфа
• Один шаг генерации, без перебора вариантов
• Больше 700 кадров в секунду
• Реальное время на одной видеокарте
• Точность на уровне специалистов: 32,1 мм на AMASS против 34,8 у RoHM, на Nymeria 21,1 против 59,3
github.com/JamesBridgewater51/omniposer
#mocap
MAX
мокап без маркеров. Но нужны сенсоры или уже извлеченные ключевые точки, модель достраивает недостающие суставы. Пригодится для VR, аватаров, робототехники и анимации.
Раньше под каждый набор сенсоров учили свою модель, здесь одна архитектура на все
• На вход любые комбинации датчиков, включая верх тела, пять точек VR или только голову
• Понимает, каких суставов нет, и достраивает их по смыслу, а не нулями
• Отдает готовый SMPL: поза, форма, контакт стоп с полом, глобальная траектория без дрейфа
• Один шаг генерации, без перебора вариантов
• Больше 700 кадров в секунду
• Реальное время на одной видеокарте
• Точность на уровне специалистов: 32,1 мм на AMASS против 34,8 у RoHM, на Nymeria 21,1 против 59,3
github.com/JamesBridgewater51/omniposer
#mocap
MAX
👍3❤1🔥1
LILIE
Энкодер из Стэнфорда, делает потери при обучении картинок умнее
Пиксельная ошибка одинаково наказывает за шум на небе и за размытый самолет, хотя смысл у них разный. LILIE учит пространство, где расстояние ближе к смыслу.
• Обратимый энкодер: картинка разбирается и собирается обратно без потерь
• Обучен так, чтобы языковая модель по зашумленным признакам восстанавливала подпись
• Дает готовую функцию потерь для текст-в-картинку, работает вместе с обычным пиксельным лоссом
• В комплекте кодировщики и генеративные модели
github.com/SuchirAgarwal/lilie
huggingface.co/suchiragarwal/lilie
#encoder #training
MAX
Энкодер из Стэнфорда, делает потери при обучении картинок умнее
Пиксельная ошибка одинаково наказывает за шум на небе и за размытый самолет, хотя смысл у них разный. LILIE учит пространство, где расстояние ближе к смыслу.
• Обратимый энкодер: картинка разбирается и собирается обратно без потерь
• Обучен так, чтобы языковая модель по зашумленным признакам восстанавливала подпись
• Дает готовую функцию потерь для текст-в-картинку, работает вместе с обычным пиксельным лоссом
• В комплекте кодировщики и генеративные модели
github.com/SuchirAgarwal/lilie
huggingface.co/suchiragarwal/lilie
#encoder #training
MAX
👍5