Computer Vision News
312 subscribers
422 photos
104 videos
2 files
399 links
Download Telegram
Forwarded from Machinelearning
Онлайн-конференция по большим данным от Х5 Tech

В программе:

🎯 Развитие команды аналитики в сервисе доставки из магазинов «Пятёрочка»: зарождение продукта, трудности, неудачные решения.

🎯 Как работает Data-спецназ X5 Tech, автоматизация А/Б тестирования в оффлайне и что делать математику в ритейле.

🎯 Необходимые инструменты мониторинга и управления, когда число IT-продуктов и ML-моделей исчисляется сотнями. Подходы к оптимизации распределения ресурсов и учет рисков.

🎯 Классический подход к проведению рекламы VS AdHoc-подход на основе эконометрической модели: ключевые факторы динамики трафика, влияние РК, оценка ROI и оптимизация затрат с помощью big data.

📅 31 августа, начало в 11:00
🌐 Формат - онлайн

Зарегистрироваться
Forwarded from Machinelearning
🧑 FaceChain

Deep-learning toolchain for generating your Digital-Twin.

FaceChain — это набор инструментов машинного обучения для создания собственного цифрового двойника.


Всего из одной портретной фотографию, вы можете создать своего собственного цифрового двойника и начать генерировать персональные портреты с различными настройками.

🖥 Github: https://github.com/modelscope/facechain

📕 Paper: https://arxiv.org/abs/2308.14256v1

🖥 Colab: https://colab.research.google.com/drive/1cUhnVXseqD2EJiotZk3k7GsfQK9_yJu_?usp=sharing

⭐️ Dataset: https://paperswithcode.com/dataset/fairface

ai_machinelearning_big_data
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from RuCode Festival
This media is not supported in your browser
VIEW IN TELEGRAM
Хочешь создавать в нейросетях качественные видео без водяного знака – плати за подписку 😐 На это правило нашлось исключение!

«Яндекс» внедрил в нейросети «Шедеврум» технологию генерации видеороликов. Теперь это первая российская нейронная сеть для производства видео🥇

Пользователи приложения «Шедеврум» могут создавать короткие ролики длиной четыре секунды с частотой 24 кадра в секунду. Новая возможность пригодится для общения в мессенджерах и соцсетях, оформления презентаций и проектов, производства контента специалистам в сфере маркетинга и просто самовыражения!

Как создать видео в «Шедеврум»:
▪ Составь текстовый запрос. Приложение предложит четыре варианта первого кадра и набор анимационных эффектов для создания движения.
▪ Выбери первый кадр и 1 из 7-ми переходов.
▪ Нейросеть создаст видео на основе выбранного изображения и его измененных версий, объединив все одним эффектом.

Источник - iphones.ru
#десятилетиенауки #МинобрнаукиРоссии #популяризациянауки
Forwarded from Machinelearning
This media is not supported in your browser
VIEW IN TELEGRAM
🧑 ReliTalk - Drive any portrait with only a single training video required

Vivid audio-driven portraits from monocular videos.

Новый фреймворк для создания реалистичных, говорящих портретов на основе видео.

🖥 Github: https://github.com/arthur-qiu/ReliTalk

📕 Paper: https://arxiv.org/abs/2309.02434

⏩ Demo Video: https://www.youtube.com/watch?v=tS2Tek_72J0

⭐️ Project: http://haonanqiu.com/projects/ReliTalk.html

ai_machinelearning_big_data
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Институт AIRI
Исследователи AIRI при поддержке Сбера создали библиотеку, которая поможет снизить выбросы CO2 в процессе обучения нейросетей 💡

Eco4cast позволяет отслеживать, как много энергии потребляется на разных этапах обучения систем, и конвертировать эти показатели в объемы выбросов CO2.

⚙ Встроенная нейросеть использует данные для выбора одного из 13 облачных сервисов в разных регионах мира, при использовании которого процесс обучения системы ИИ будет оставлять минимальный углеродный след. Так исследователи называют условный показатель количества энергии, затраченной на тот или иной процесс.

Первые предварительные проверки подхода показали, что он позволяет сократить выбросы примерно на 90%. Эта разработка поможет снизить затраты на обучение нейросетей и уменьшить связанные с этим процессом выбросы парниковых газов.

📎 Алгоритм Eco4cast опубликован в открытом доступе, делимся ссылкой на Github

📎 Подробнее про исследование читайте на ТАСС Наука
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from эйай ньюз
Beyond Surface Statistics:
Scene Representations in a Latent Diffusion Model


Вышла интересная статья, где показали, что Latent Diffusion (LDM) выучивает информацию о глубине сцены в своих latent фичах.

Проверили очень просто - взяли фичи из промежуточных self-attenion слоев у Stable Diffusion v1 и натренили линейную регрессию восстанавливать глубину и saliency (это по сути бинарная сегментация). По одному лин-регу на каждый слой и на каждый шаг солвера t.

Итак, мы видим, что уже после пяти шагов солвера, фичи содержат довольно много инфы о глубине объектов, в то время как сам объект еще не разобрать.

А самая точная глубина содержится в первом self-attention слое декодера Unet.

Еще авторы показали, что можно отредактировать фичи, которые соответствуют инфе о глубине так, что передвинется объект на итоговой генерации.

Cтатья подтвердила интуицию о том, что LDM учит неявное 3D представление об объектах, иначе она бы не смогла генерить такие качественные изображения и эффекты вроде блюра.

@ai_newz
Forwarded from Machinelearning
✏️ Модель для генерации субтитров, созданная Яндекс Браузером

Итак, Яндекс запустил внутри браузера новую нейросеть: она создаёт субтитры к любым русскоязычным видео на любом сайте. Субтитры работают даже для тех роликов, которые доступны после авторизации или загружены в облачные хранилища.

Нейросеть стала потреблять в 5 раз меньше оперативной памяти: оптимизация буферов и моделей позволили дойти до отметки в 150 Мб вместо 800 Мб. Для этого разработчики уменьшали накапливающиеся буферы, меняли архитектуру модели и перенастраивали процесс декодирования.

За основу взята архитектура VGGTransformer. Нейросеть обучили на блочное применение — это когда предсказание работает с помощью скользящего окна со сдвигом.

Подробнее про генерацию субтитров можно почитать в статье на Хабре.

ai_machinelearning_big_data
Forwarded from Институт AIRI
Рассказываем про следующий #AIRIseminars 👇

🔵Дата и время: 20 сентября в 17:00 на YouTube-канале AIRI

🔵Тема: «Генеративные модели для физических исследований»

🔵Докладчик: Федор Ратников, ВШЭ

🔵Оппонент: Семен Буденный, AIRI, Сбер

🔵Подробное описание семинара читайте по ссылке

До встречи в среду!
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from эйай ньюз
🔥 OpenAI анонсировали DALL-E 3

DALL-E 3 обещает быть интегрированной с ChatGPT, то есть не нужно будет думать над промптами (привет промпт-инженерам). Достаточно будет в пару слов описать, что вы хотите нарисовать, и ChatGPT придумает детальные промпты для вас.

Особое внимание уделили деталям и научили модель лучше прнимать контекст изображения, описанный в длинных промптах (DALLE-3 любит многословность описаний).

Пока никому не дают потрогать модель, показали только с дюжину генераций. Поэтому трудно судить насколько это будет SOTA, и как медленно это будет работать.

Я полагаю, это будет огромная диффузия в несколько этапов с GPT-4 в качестве текстового энкодера и всяческими свистелками-перделками, о которых мы не узнаем.

В октябре обещают дать доступ юзерам ChatGPT Plus and ChatGPT Enterprise. А после этого может быть ресерчерам.

https://openai.com/dall-e-3

@ai_newz
Forwarded from Machinelearning
🔎Detect Every Thing with Few Examples

DE-ViT surpasses the few-shot SoTA by 15 mAP on 10-shot and 7.2 mAP on 30-shot and one-shot SoTA by 2.8 AP50.


Высокоточный детектор объектов, который в отличие от популярного подхода с открытым словарем, описывает каждую категорию объектов не языком, а несколькими опорными изображениями. DE-ViT демонстрирует новые достижения в области обнаружения объектов с открытым словарем, несколькими снимками и одним снимком в сравнении с COCO и LVIS .

git clone https://github.com/mlzxy/devit.git

🖥 Github: https://github.com/mlzxy/devit

📕 Paper: https://arxiv.org/abs/2309.12969v1

⭐️ Dataset: https://paperswithcode.com/dataset/mscoco

ai_machinelearning_big_data
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🚗 Тест-драйв PyTorch 2.0 и заглядываем под капот «двушки»

⚜️ Новейший метод для ускорения кода в PyTorch 2.0 — torch.compile(), который позволяет JIT‑компилировать код PyTorch в оптимизированные ядра, требуя минимальных изменений кода.

JIT‑компиляция (Just‑In‑Time compilation) — это процесс, при котором код на высокоуровневом языке преобразуется в код на низкоуровневом языке, который может быть быстрее и эффективнее исполнен процессором или графическим ускорителем. torch.compile() использует TorchDynamo и заданный бэкенд для JIT‑компиляции кода PyTorch.

Рассмотрим, насколько эффективен torch.compile() на практике, заглянем под капот «двушки» PyTorch 2.0, чтобы узнать, как работает этот метод и какие преимущества он дает.

Разработчики PyTorch заявляют, что torch.compile() может дать прирост производительности до 50% по сравнению с обычным кодом PyTorch. Для проверки этого заявления мы проведем ряд экспериментов на разных моделях и данных, выясним, есть ли реальная выгода от использования torch.compile().

📌 Для того чтобы понять, как работает torch.compile() рассмотрим основные его компоненты, которые отвечают за различные аспекты JIT‑компиляции кода PyTorch:

▪️TorchDynamo — это динамический компилятор, который анализирует код PyTorch и определяет, какие части кода могут быть скомпилированы в оптимизированные ядра. Отслеживает изменения в коде и перекомпилирует его при необходимости.

▪️AOT AutoGrad — это система автоматического дифференцирования, которая позволяет вычислять градиенты для скомпилированных ядер. Генерирует код для обратного распространения ошибки во время компиляции, а не во время исполнения, что ускоряет процесс обучения нейронных сетей.

▪️PrimTorch — это набор примитивных операций, которые используются для построения скомпилированных ядер. Включает в себя базовые математические и логические операции, а также операции над тензорами, такие как сложение, умножение, свертка и т. д.

▪️TorchInductor — это бэкенд для JIT‑компиляции кода PyTorch в оптимизированные ядра для разных устройств. Поддерживает разные бэкенды и адаптирует код PyTorch к специфике каждого устройства.

Далее подробнее рассмотрим, как работают компоненты TorchDynamo и TorchInductor и как они взаимодействуют друг с другом, чтобы обеспечить JIT‑компиляцию кода PyTorch.

📌Читать

@machinelearning_interview
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Machinelearning
This media is not supported in your browser
VIEW IN TELEGRAM
✏️ Deep Geometrized Cartoon Line Inbetweening

Method can effectively capture the sparsity and unique structure of line drawings while preserving the details during inbetweening.

Создание промежуточных кадров между двумя рисунками - трудоемкий и дорогостоящий процесс, новый фреймворк AnimeInbet позволяет автоматизировать эту задачу.

AnimeInbet, геометризирует растровые линейные рисунки в графы конечных точек, решая задачу слияния графов с перестановкой вершин.

🖥 Github: https://github.com/lisiyao21/animeinbet

☑️ Demo: https://youtu.be/iUF-LsqFKpI?si=9FViAZUyFdSfZzS5

📕 Paper: https://arxiv.org/pdf/2309.16643v1.pdf

⭐️ Dataset: https://drive.google.com/file/d/1SNRGajIECxNwRp6ZJ0IlY7AEl2mRm2DR/view?usp=sharing

ai_machinelearning_big_data
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Институт AIRI
Save the date: следующая ИИшница пройдет 19 октября на YouTube-канале AIRI 🍳

Скоро расскажем подробнее про спикеров научного онлайн-митапа, а также поделимся темами докладов.

Запись прошлой ИИшницы про роботов можно посмотреть по ссылке 🖇
Forwarded from эйай ньюз
​На каждой крупной конференции выбираются несколько лучших статей и им вручают "призы". Обычно это статьи, которые перевернули область с ног на голову, либо те, что имеют потенциал очень сильно повлиять на ход будущих исследований. Еще отдельно выделяют лучшую статью, где первый автор - студет (включая аспирантов). #конфа

В этом году на ICCV 2023 победили следующие работы.

1️⃣ Лучшие статьи:
- ControlNet [Stanford]
- Passive Ultra-Wideband Single-Photon Imaging [UoT]

2️⃣ Почетное упоминание - Segment Anything (SAM) [Meta AI]

3️⃣ Лучшая студенческая статья - Tracking Everything Everywhere All At Once [Cornell + Berkeley + Goolge]

---

В разные года выбор лучших статей у меня вызывал сомнения, но ControlNet, хоть и технически простой, это действительно заслужил. От появляния на arxiv в феврале, до публикации на ICCV работа успела набрать 24k звезд на гитхабе, >300 цитирований, и используется в сотнях пет-проектах с SD.

SAM - тут просто без коментариев, работа супер влиятельная.

Tracking Everything - Универсальный трекер. Тоже крутая работа, по духу да и по названию похожа на Segment Anything.

Про Single-Photon Imaging ничего сказать не могу, не моя тема совсем. Разве что, коммиссия любит выбирать что-то неортодоксальное, но потенциально с большим импактом.

@ai_newz
Forwarded from DeepSchool
​​Имитационное обучение

Чтобы обучить роботов выполнять полезные задачи, нужна целая команда робототехников, которая их запрограммирует. Чем сложнее задача, тем больше времени необходимо на ее реализацию.

Для упрощения работы мы можем вместо ручного программирования просто показывать роботу новый навык, которому он обучится с помощью имитации. Это называется имитационным обучением.

В новой статье мы поговорим об имитационном обучении, а также узнаем:
- как передать навыки людей роботам
- чем отличается имитационное обучение от обучения с учителем
- подходы к имитационному обучению и как они работают

Читайте нашу новую статью по ссылке: https://deepschool-pro.notion.site/6ad66bb2ef494cafab421409dbc2b91c?pvs=4
Forwarded from Институт AIRI
Делимся расписанием ИИшницы «Диффузионные модели и их расширения», которая пройдет в этот четверг на YouTube-канале AIRI 🍳

🔵15:35 – «Диффузионные модели: три стороны одной медали», Дмитрий Ветров, ВШЭ, AIRI

В докладе спикер рассмотрит три способа интерпретации диффузионных моделей и кратко перечислит основные преимущества, которые дают разные способы взгляда на эту популярную генеративную модель.

🔵16:15 – "Star-Shaped Denoising Diffusion Probabilistic Models", Андрей Охотин, ВШЭ

Диффузионные модели сейчас достигают высокого качества на задачах генерации изображений и звука, однако, испытывают проблемы с генерацией данных со сложной внутренней структурой. Статья, про которую расскажет Андрей, представляет обобщение классических диффузионых моделей, позволяющее использовать не только гауссовское зашумляющее распределение. Благодаря этому удается добиться высокого качества генерации данных из таких специфических многообразий.

🔵16:35 – «Применение генеративных картиночных моделей в рекламе» Валентин Хрульков, Яндекс

Валентин расскажет о практических сценариях использования технологии генерации картинок для улучшения привлекательности рекламных баннеров.

🔵15:55 – "Entropic Neural Optimal Transport via Diffusion Processes" Никита Гущин, Сколтех

Доклад основан на статье "Entropic Neural Optimal Transport via Diffusion Processes" (NeurIPS 2023, oral). Оптимальный транспорт с помощью нейронных сетей — новое направление для решения задач непарного переноса стиля и доменной адаптации. В докладе Никита расскажет про способ связать оптимальный транспорт и диффузионные модели с помощью задачи моста Шрёдингера. Помимо рассказа о разработанном в статье алгоритме будут рассмотрены также другие уже известные алгоритмы для задачи моста Шрёдинегра и их приложения.

🔵16:55 – "Training of an integrator of diffusion model trajectories" Вячеслав Мещанинов, ВШЭ

Диффузионные модели продемонстрировали огромный потенциал для генерации данных самой разной структуры. Однако главным их недостатком является большое количество шагов на этапе использования, необходимое для качественной генерации объектов. В докладе Вячеслав расскажет о том, как можно преодолеть данный недостаток и обучить модель, которая за один шаг способна пройти всю траекторию генерации диффузионной модели.

Сохраняйте ссылку на трансляцию, до встречи в четверг! 🍿
Please open Telegram to view this post
VIEW IN TELEGRAM