Forwarded from Machinelearning
🔥🔥🔥 YOLOv10: Real-Time End-to-End Object Detection
⚡️ Вышла новая версия детектора объектов YOLOv10
Добавлена новая функция сквозного обнаружения объектов в реальном времени. Код выпущен под лицензией GNU GPL v3.0
По сравнению с YOLOv9-C, YOLOv10-B имеет на 46% меньшую задержку и использует на 25% меньше параметров при той же производительности.
▪Paper: arxiv.org/pdf/2405.14458
▪Github: https://github.com/THU-MIG/yolov10/
▪Demo :https://huggingface.co/spaces/kadirnar/Yolov10
▪Colab: https://colab.research.google.com/github/roboflow-ai/notebooks/blob/main/notebooks/train-yolov10-object-detection-on-custom-dataset.ipynb#scrollTo=SaKTSzSWnG7s
@ai_machinelearning_big_data
⚡️ Вышла новая версия детектора объектов YOLOv10
Добавлена новая функция сквозного обнаружения объектов в реальном времени. Код выпущен под лицензией GNU GPL v3.0
По сравнению с YOLOv9-C, YOLOv10-B имеет на 46% меньшую задержку и использует на 25% меньше параметров при той же производительности.
▪Paper: arxiv.org/pdf/2405.14458
▪Github: https://github.com/THU-MIG/yolov10/
▪Demo :https://huggingface.co/spaces/kadirnar/Yolov10
▪Colab: https://colab.research.google.com/github/roboflow-ai/notebooks/blob/main/notebooks/train-yolov10-object-detection-on-custom-dataset.ipynb#scrollTo=SaKTSzSWnG7s
@ai_machinelearning_big_data
Forwarded from Machinelearning
Исследователи из Техасского университета в Остине разработали инновационную схему обучения моделей на сильно поврежденных изображениях, метод получил название Ambient Diffusion. Для чего?
Последнее время то и дело возникают судебные иски — художники жалуются на незаконное использование их изображений.
И Ambient Diffusion как раз позволяет ИИ-моделям не копировать изображения, а скажем «черпать вдохновение» из них.
В ходе исследования команда исследователей обучила модель Stable Diffusion XL на наборе данных из 3 000 изображений знаменитостей. Изначально было замечено, что модели, обученные на чистых данных, откровенно копируют учебные примеры.
Однако когда обучающие данные были испорчены — случайным образом маскировалось до 90% пикселей, — модель все равно выдавала высококачественные уникальные изображения.
Возможности использования Ambient Diffusion выходят за рамки решения проблем с авторскими правами. По словам профессора Адама Кливанса, сотрудника проекта, «Ambient Diffusion может оказаться полезным и для научных и медицинских приложений. Это касается практически любых исследований, где дорого или невозможно получить полный набор неповрежденных данных — от визуализации черных дыр до некоторых видов магнитно-резонансной томографии».
@ai_machinelearning_big_data
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Machinelearning
This media is not supported in your browser
VIEW IN TELEGRAM
Scribble SDXL создан на основе SDXL ControlNet и его можно без проблем запустить на Hugging Face (спасибо
linoy_tsaban из X).Можно выбирать разные стили и экспериментировать
🤗 Scribble SDXL
@ai_machinelearning_big_data
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Machinelearning
This media is not supported in your browser
VIEW IN TELEGRAM
Это быстрая версия Scribble SDXL, о которой мы недавно писали.
Использует SDXL Flash и Scribble SDXL, что позволяет ещё быстрее получать качественные изображения из простых набросков и каракулей
🤗 Запустить на Hugging Face
@ai_machinelearning_big_data
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Machinelearning
This media is not supported in your browser
VIEW IN TELEGRAM
Это работает без каких либо изменений кода, все, что нужно добавить
%load-ext cudf.pandas поверх кода pandas.cudf обеспечивает ускорение с помощью процессоров NVIDIA L4 Tensor Core.
Эти графические процессоры недавно стали доступны в Google Colab для пользователей с платной подпиской.
👉 Колаб-ноутбук с гайдом по запуску
Еще Дженсен Хуанг озвучил планы по выпуску новых продуктов Nvidia.
Nvidia планирует выпускать новые флагманские решения для дата-центров каждый год, постоянно наращивая их производительность и функциональность
Уже в следующем году ожидается выход графического процессора Blackwell Ultra, преемника нынешнего флагмана Blackwell
Blackwell Ultra будет оснащен памятью HBM3e с 12 кристаллами в стеке, что позволит увеличить объем на 50 % по сравнению с Blackwell, у которого память с 8 кристаллами.
В 2026 году будет представлен новый графический чип Rubin с памятью HBM4. Еще, появится центральный процессор Vera, который придёт на смену нынешнему Grace. Rubin — это будет суперчип, связка GPU+CPU, аналогично актуальному Grace Hopper. Кроме того, пропускная способность запатентованной Nvidia технологии интерконнекта NVLink будет удвоена до 3,6 Тбит/с (NVLink 6 против NVLink 5).
На 2027 г планируется выход улучшенной версии Rubin Ultra с HBM4 с 12 кристаллами в стеке вместо 8.
Nvidia намерена выжимать максимум из доступных на данный момент производственных техпроцессов, чтобы каждый год выводить на рынок новые решения, работающие на пределе возможного.
По словам Дженсена Хуанга, именно эта стратегия непрерывного совершенствования позволит компании сохранять лидерство в сфере решений для дата-центров.
📌 Полное выступление: https://www.youtube.com/watch?v=pKXDVsWZmUU
@ai_machinelearning_big_data
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Machinelearning
This media is not supported in your browser
VIEW IN TELEGRAM
Метод V-Express был представлен совсем недавно Cong Wang, Kuan Tian, Jun Zhang и другими как один из самых эффективных методов генерации таких анимаций, код и модель опубликованы
🤗 Модель на Hugging Face
@ai_machinelearning_big_data
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Machinelearning
This media is not supported in your browser
VIEW IN TELEGRAM
🔈 Separating the "Chirp" from the "Chat": Self-supervised Visual Grounding of Sound and Language
Исследователи Массачусетского технологического университета CSAIL и Google разработали алгоритм DenseAV, который предсказывает то, что он видит, исходя из того, что он слышит.
Он совершенно не контролируется и не использует текст во время обучения.
Алгоритм может соотносить объекты с видео со звуками, которые они издают.
Возможности DenseAV в области локализации основаны на новом методе dense contrastive loss, который наделяет его мощной способность запоминать и локализовывать слова и звуки по сравнению с широко распространенными методами.
DenseAV значительно превосходит известные методы семантической сегментации по речи и звуку.
▪Paper: https://arxiv.org/abs/2406.05629
▪Website: https://mhamilton.net/denseav
▪Code: https://github.com/mhamilton723/DenseAV
▪Video: https://youtu.be/wrsxsKG-4eE
@ai_machinelearning_big_data
Исследователи Массачусетского технологического университета CSAIL и Google разработали алгоритм DenseAV, который предсказывает то, что он видит, исходя из того, что он слышит.
Он совершенно не контролируется и не использует текст во время обучения.
Алгоритм может соотносить объекты с видео со звуками, которые они издают.
Возможности DenseAV в области локализации основаны на новом методе dense contrastive loss, который наделяет его мощной способность запоминать и локализовывать слова и звуки по сравнению с широко распространенными методами.
DenseAV значительно превосходит известные методы семантической сегментации по речи и звуку.
▪Paper: https://arxiv.org/abs/2406.05629
▪Website: https://mhamilton.net/denseav
▪Code: https://github.com/mhamilton723/DenseAV
▪Video: https://youtu.be/wrsxsKG-4eE
@ai_machinelearning_big_data
Forwarded from эйай ньюз
This media is not supported in your browser
VIEW IN TELEGRAM
Челики из Picsart дразнятся в твиттере своей новой работой, улучшенной версия StreamingT2V для высокого разрешения, которая может генерить длинные видео до 2 минут.
На видео – сравнение их метода с генерацией Luma.
Ждем скоро в опен-сорсе. Кажется SORA-like генерация все же скоро доедет до публики и без OpenAI.
@ai_newz
На видео – сравнение их метода с генерацией Luma.
Ждем скоро в опен-сорсе. Кажется SORA-like генерация все же скоро доедет до публики и без OpenAI.
@ai_newz
Forwarded from Machinelearning
🌟 Paint by Inpaint — высокоточный Instruct pix2pix по текстовому запросу.
Navve Wasserman с коллегами представили улучшенный вариант Instruct pix2pix - "Paint by Inpaint". Методика улучшения:
— был создан конвейер обработки изображений, который с помощью модели inpaint добавлял объекты на изображения. Затем, сравнивая исходное изображение с полученным, вычиталась разница — так получился датасет PIPE
— датасет PIPE был аннотирован большой моделью VLM и обработан для устранения артефактов маскированя объектов — так получился набор высокодетализированных объектов для вычитания
— эти два противоположных процесса: удаление и добавление объектов совместили, примменя контроль большей точностью (аналогично GAN), в результате чего была получена модель, очень точно добавляющая объекты на изображения по текстовому запросу.
Предобученные модели Paint-By-Inpaint:
- addition-base-model - базовое добавление объектов
- addition-finetuned-model - файнтюн на датасете MagicBrush
- general-base-model - удаление и добавление объектов
- general-finetuned-model - файнтюн на датасете MagicBrush
Датасет PIPE для обучения и тестирования на HuggingFace
Пример загрузки тестового набора:
▪ Страница проекта Paint by Inpaint
▪ Paper
▪ Demo
▪ GitHub
@ai_machinelearning_big_data
Navve Wasserman с коллегами представили улучшенный вариант Instruct pix2pix - "Paint by Inpaint". Методика улучшения:
— был создан конвейер обработки изображений, который с помощью модели inpaint добавлял объекты на изображения. Затем, сравнивая исходное изображение с полученным, вычиталась разница — так получился датасет PIPE
— датасет PIPE был аннотирован большой моделью VLM и обработан для устранения артефактов маскированя объектов — так получился набор высокодетализированных объектов для вычитания
— эти два противоположных процесса: удаление и добавление объектов совместили, примменя контроль большей точностью (аналогично GAN), в результате чего была получена модель, очень точно добавляющая объекты на изображения по текстовому запросу.
Предобученные модели Paint-By-Inpaint:
- addition-base-model - базовое добавление объектов
- addition-finetuned-model - файнтюн на датасете MagicBrush
- general-base-model - удаление и добавление объектов
- general-finetuned-model - файнтюн на датасете MagicBrush
Датасет PIPE для обучения и тестирования на HuggingFace
Пример загрузки тестового набора:
from datasets import load_dataset
from torch.utils.data import DataLoader
from dataset.dataset import PIPE_Dataset
data_files = {"train": "data/train-*", "test": "data/test-*"}
pipe_dataset = load_dataset('paint-by-inpaint/PIPE',data_files=data_files)
train_dataset = PIPE_Dataset(pipe_dataset, split='train')
train_dataloader = DataLoader(train_dataset, batch_size=32, shuffle=True)
test_dataset = PIPE_Dataset(pipe_dataset, split='test')
test_dataloader = DataLoader(test_dataset, batch_size=1, shuffle=True)
▪ Страница проекта Paint by Inpaint
▪ Paper
▪ Demo
▪ GitHub
@ai_machinelearning_big_data
Forwarded from Machinelearning
Kolors — это большая диффузионная модель, опубликованная вчера командой Kuaishou Kolors.
Kolors была обучена на миллиардах пар "текст-изображение" и показывает отличные результаты в генерации сложных фотореалистичных изображений.
По результатам оценки 50 независимых экспертов, модель Kolors генерирует более реалистчиные и красивые изображения, чем Midjourney-v6, Stable Diffusion 3, DALL-E 3 и другие модели
@ai_machinelearning_big_data
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Machine learning Interview
🧠 Наконец-то кто-то создал leetcode для машинного обучения.
Этот сайт предлагает задачки разной сложности в категориях линейной алгебры, машинного и глубокого обучения, анализа данных.
Он полезен для всех, кто хочет углубить свои знания, улучшить навыки и попрактиковаться в машинном обучении. На сайте указаны уровни сложности, есть интерфейс для ввода своего решения и правильные ответы.
Только что выполнил первое упражнение: вычисление матрично-векторного произведения без каких-либо тензорных операций (разрешены только списки на python).
http://deep-ml.com
@machinelearning_interview
Этот сайт предлагает задачки разной сложности в категориях линейной алгебры, машинного и глубокого обучения, анализа данных.
Он полезен для всех, кто хочет углубить свои знания, улучшить навыки и попрактиковаться в машинном обучении. На сайте указаны уровни сложности, есть интерфейс для ввода своего решения и правильные ответы.
Только что выполнил первое упражнение: вычисление матрично-векторного произведения без каких-либо тензорных операций (разрешены только списки на python).
http://deep-ml.com
@machinelearning_interview
🔥1