Forwarded from Machinelearning
This media is not supported in your browser
VIEW IN TELEGRAM
Scribble SDXL создан на основе SDXL ControlNet и его можно без проблем запустить на Hugging Face (спасибо
linoy_tsaban из X).Можно выбирать разные стили и экспериментировать
🤗 Scribble SDXL
@ai_machinelearning_big_data
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Machinelearning
This media is not supported in your browser
VIEW IN TELEGRAM
Это быстрая версия Scribble SDXL, о которой мы недавно писали.
Использует SDXL Flash и Scribble SDXL, что позволяет ещё быстрее получать качественные изображения из простых набросков и каракулей
🤗 Запустить на Hugging Face
@ai_machinelearning_big_data
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Machinelearning
This media is not supported in your browser
VIEW IN TELEGRAM
Это работает без каких либо изменений кода, все, что нужно добавить
%load-ext cudf.pandas поверх кода pandas.cudf обеспечивает ускорение с помощью процессоров NVIDIA L4 Tensor Core.
Эти графические процессоры недавно стали доступны в Google Colab для пользователей с платной подпиской.
👉 Колаб-ноутбук с гайдом по запуску
Еще Дженсен Хуанг озвучил планы по выпуску новых продуктов Nvidia.
Nvidia планирует выпускать новые флагманские решения для дата-центров каждый год, постоянно наращивая их производительность и функциональность
Уже в следующем году ожидается выход графического процессора Blackwell Ultra, преемника нынешнего флагмана Blackwell
Blackwell Ultra будет оснащен памятью HBM3e с 12 кристаллами в стеке, что позволит увеличить объем на 50 % по сравнению с Blackwell, у которого память с 8 кристаллами.
В 2026 году будет представлен новый графический чип Rubin с памятью HBM4. Еще, появится центральный процессор Vera, который придёт на смену нынешнему Grace. Rubin — это будет суперчип, связка GPU+CPU, аналогично актуальному Grace Hopper. Кроме того, пропускная способность запатентованной Nvidia технологии интерконнекта NVLink будет удвоена до 3,6 Тбит/с (NVLink 6 против NVLink 5).
На 2027 г планируется выход улучшенной версии Rubin Ultra с HBM4 с 12 кристаллами в стеке вместо 8.
Nvidia намерена выжимать максимум из доступных на данный момент производственных техпроцессов, чтобы каждый год выводить на рынок новые решения, работающие на пределе возможного.
По словам Дженсена Хуанга, именно эта стратегия непрерывного совершенствования позволит компании сохранять лидерство в сфере решений для дата-центров.
📌 Полное выступление: https://www.youtube.com/watch?v=pKXDVsWZmUU
@ai_machinelearning_big_data
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Machinelearning
This media is not supported in your browser
VIEW IN TELEGRAM
Метод V-Express был представлен совсем недавно Cong Wang, Kuan Tian, Jun Zhang и другими как один из самых эффективных методов генерации таких анимаций, код и модель опубликованы
🤗 Модель на Hugging Face
@ai_machinelearning_big_data
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Machinelearning
This media is not supported in your browser
VIEW IN TELEGRAM
🔈 Separating the "Chirp" from the "Chat": Self-supervised Visual Grounding of Sound and Language
Исследователи Массачусетского технологического университета CSAIL и Google разработали алгоритм DenseAV, который предсказывает то, что он видит, исходя из того, что он слышит.
Он совершенно не контролируется и не использует текст во время обучения.
Алгоритм может соотносить объекты с видео со звуками, которые они издают.
Возможности DenseAV в области локализации основаны на новом методе dense contrastive loss, который наделяет его мощной способность запоминать и локализовывать слова и звуки по сравнению с широко распространенными методами.
DenseAV значительно превосходит известные методы семантической сегментации по речи и звуку.
▪Paper: https://arxiv.org/abs/2406.05629
▪Website: https://mhamilton.net/denseav
▪Code: https://github.com/mhamilton723/DenseAV
▪Video: https://youtu.be/wrsxsKG-4eE
@ai_machinelearning_big_data
Исследователи Массачусетского технологического университета CSAIL и Google разработали алгоритм DenseAV, который предсказывает то, что он видит, исходя из того, что он слышит.
Он совершенно не контролируется и не использует текст во время обучения.
Алгоритм может соотносить объекты с видео со звуками, которые они издают.
Возможности DenseAV в области локализации основаны на новом методе dense contrastive loss, который наделяет его мощной способность запоминать и локализовывать слова и звуки по сравнению с широко распространенными методами.
DenseAV значительно превосходит известные методы семантической сегментации по речи и звуку.
▪Paper: https://arxiv.org/abs/2406.05629
▪Website: https://mhamilton.net/denseav
▪Code: https://github.com/mhamilton723/DenseAV
▪Video: https://youtu.be/wrsxsKG-4eE
@ai_machinelearning_big_data
Forwarded from эйай ньюз
This media is not supported in your browser
VIEW IN TELEGRAM
Челики из Picsart дразнятся в твиттере своей новой работой, улучшенной версия StreamingT2V для высокого разрешения, которая может генерить длинные видео до 2 минут.
На видео – сравнение их метода с генерацией Luma.
Ждем скоро в опен-сорсе. Кажется SORA-like генерация все же скоро доедет до публики и без OpenAI.
@ai_newz
На видео – сравнение их метода с генерацией Luma.
Ждем скоро в опен-сорсе. Кажется SORA-like генерация все же скоро доедет до публики и без OpenAI.
@ai_newz
Forwarded from Machinelearning
🌟 Paint by Inpaint — высокоточный Instruct pix2pix по текстовому запросу.
Navve Wasserman с коллегами представили улучшенный вариант Instruct pix2pix - "Paint by Inpaint". Методика улучшения:
— был создан конвейер обработки изображений, который с помощью модели inpaint добавлял объекты на изображения. Затем, сравнивая исходное изображение с полученным, вычиталась разница — так получился датасет PIPE
— датасет PIPE был аннотирован большой моделью VLM и обработан для устранения артефактов маскированя объектов — так получился набор высокодетализированных объектов для вычитания
— эти два противоположных процесса: удаление и добавление объектов совместили, примменя контроль большей точностью (аналогично GAN), в результате чего была получена модель, очень точно добавляющая объекты на изображения по текстовому запросу.
Предобученные модели Paint-By-Inpaint:
- addition-base-model - базовое добавление объектов
- addition-finetuned-model - файнтюн на датасете MagicBrush
- general-base-model - удаление и добавление объектов
- general-finetuned-model - файнтюн на датасете MagicBrush
Датасет PIPE для обучения и тестирования на HuggingFace
Пример загрузки тестового набора:
▪ Страница проекта Paint by Inpaint
▪ Paper
▪ Demo
▪ GitHub
@ai_machinelearning_big_data
Navve Wasserman с коллегами представили улучшенный вариант Instruct pix2pix - "Paint by Inpaint". Методика улучшения:
— был создан конвейер обработки изображений, который с помощью модели inpaint добавлял объекты на изображения. Затем, сравнивая исходное изображение с полученным, вычиталась разница — так получился датасет PIPE
— датасет PIPE был аннотирован большой моделью VLM и обработан для устранения артефактов маскированя объектов — так получился набор высокодетализированных объектов для вычитания
— эти два противоположных процесса: удаление и добавление объектов совместили, примменя контроль большей точностью (аналогично GAN), в результате чего была получена модель, очень точно добавляющая объекты на изображения по текстовому запросу.
Предобученные модели Paint-By-Inpaint:
- addition-base-model - базовое добавление объектов
- addition-finetuned-model - файнтюн на датасете MagicBrush
- general-base-model - удаление и добавление объектов
- general-finetuned-model - файнтюн на датасете MagicBrush
Датасет PIPE для обучения и тестирования на HuggingFace
Пример загрузки тестового набора:
from datasets import load_dataset
from torch.utils.data import DataLoader
from dataset.dataset import PIPE_Dataset
data_files = {"train": "data/train-*", "test": "data/test-*"}
pipe_dataset = load_dataset('paint-by-inpaint/PIPE',data_files=data_files)
train_dataset = PIPE_Dataset(pipe_dataset, split='train')
train_dataloader = DataLoader(train_dataset, batch_size=32, shuffle=True)
test_dataset = PIPE_Dataset(pipe_dataset, split='test')
test_dataloader = DataLoader(test_dataset, batch_size=1, shuffle=True)
▪ Страница проекта Paint by Inpaint
▪ Paper
▪ Demo
▪ GitHub
@ai_machinelearning_big_data
Forwarded from Machinelearning
Kolors — это большая диффузионная модель, опубликованная вчера командой Kuaishou Kolors.
Kolors была обучена на миллиардах пар "текст-изображение" и показывает отличные результаты в генерации сложных фотореалистичных изображений.
По результатам оценки 50 независимых экспертов, модель Kolors генерирует более реалистчиные и красивые изображения, чем Midjourney-v6, Stable Diffusion 3, DALL-E 3 и другие модели
@ai_machinelearning_big_data
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Machine learning Interview
🧠 Наконец-то кто-то создал leetcode для машинного обучения.
Этот сайт предлагает задачки разной сложности в категориях линейной алгебры, машинного и глубокого обучения, анализа данных.
Он полезен для всех, кто хочет углубить свои знания, улучшить навыки и попрактиковаться в машинном обучении. На сайте указаны уровни сложности, есть интерфейс для ввода своего решения и правильные ответы.
Только что выполнил первое упражнение: вычисление матрично-векторного произведения без каких-либо тензорных операций (разрешены только списки на python).
http://deep-ml.com
@machinelearning_interview
Этот сайт предлагает задачки разной сложности в категориях линейной алгебры, машинного и глубокого обучения, анализа данных.
Он полезен для всех, кто хочет углубить свои знания, улучшить навыки и попрактиковаться в машинном обучении. На сайте указаны уровни сложности, есть интерфейс для ввода своего решения и правильные ответы.
Только что выполнил первое упражнение: вычисление матрично-векторного произведения без каких-либо тензорных операций (разрешены только списки на python).
http://deep-ml.com
@machinelearning_interview
🔥1
Forwarded from Machinelearning
Semantic-SAM — экспериментальный метод сегментации изображений, опирающийся на на Mask DINO, OpenSeeD, SEEM и VLPart, выполняющий интерактивную сегментацию с возможностью управления уровнем детализации и семантической осведомленностью.
Этот проект - первая попытка обучения модели и на наборах данных (SA-1B) и на данных по сегментации фрагментов изображений (SAM).
Бенчмарки проведенные в ходе исследования демонстрируют, что такое обучение положительно сказывается на точности Semantic-SAM.
🤗 Попробовать интерактивную демонстрация многоуровневой детализации
🤗 Попробовать авто-генерацию с контролируемой детализацией
@ai_machinelearning_big_data
#ML #SAM #Segmentation #Recognition
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from RuCode Festival
Обзор базовых моделей временных рядов для анализа данных, прогнозирования тенденций и принятия бизнес-решений 📊
Коротко и по делу рассказывает Никита Зелинский, руководитель центра компетенций Data Science,🥚 (генеральный партнёр RuCode 2024)
🔻 Могут ли foundation models пригодиться стартапам и небольшим компаниям? Или наоборот, корпорациям, у которых переизбыток несистематизированных данных?
🔻 LLM без предварительного обучения (Zero-shot model) прогнозирует временные ряды — возможно ли?
🔻 Уже есть успешные кейсы применения базовых моделей для предсказания временных рядов?
Спойлер: да.
Хорошо прогнозируется спрос на товары и услуги, потребление энергии и т.п.
Поиск аномалий в реальном времени эффективен в обслуживании транспорта, айти-операциях…
🔻 В каких стартапах foundation models уже регулярно применяют для анализа временных рядов?
И еще кое-что:
- основные приёмы foundation models for time series
- бенчмарки во временных рядах.
Смотрим👁
#десятилетиенауки #МинобрнаукиРоссии #популяризациянауки
Коротко и по делу рассказывает Никита Зелинский, руководитель центра компетенций Data Science,
Спойлер: да.
Хорошо прогнозируется спрос на товары и услуги, потребление энергии и т.п.
Поиск аномалий в реальном времени эффективен в обслуживании транспорта, айти-операциях…
И еще кое-что:
- основные приёмы foundation models for time series
- бенчмарки во временных рядах.
Смотрим
#десятилетиенауки #МинобрнаукиРоссии #популяризациянауки
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Machinelearning
Прежде всего, вокодер — это метод синтеза речи, основанный на знании механизмов ее образования и восприятия; с помощью вокодера, например, можно сжимать запись речи в 2-3 раза с сохранением разборчивости.
Несмотря на недавний прогресс в области вокодеров на основе GAN, в которых модель генерирует нужную форму волны на основе акустических особенностей, синтезировать звук высокой точности для разных дикторов в различных условиях записи всё ещё сложно.
Чтобы это исправить, NVIDIA на днях опубликовала BigVGAN, универсальный вокодер, который из коробки подходит для использования в различных сценариях.
Весь сопутствующий код выложен на GitHub под MIT лицензией
@ai_machinelearning_big_data
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM