Forwarded from Yandex for ML
В этот раз обсудим всё самое интересное с конференции International Conference on Machine Learning, которая прошла в июле в Вене. Поделимся самыми актуальными новостями и трендами, которые увидели на мероприятии.
Подписывайтесь:
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from эйай ньюз
А вот и первый IP-Adapter для FLUX.1 [dev] подъехал
IP-adapter - это штука, которая позволяет подавать в модель кроме текста еще и референсную картинку. По умолчанию Flux картинку на вход не принимает.
Подробнее про устройство IP-Adapter, и как он используется, например, в Midjourney я писал тут.
Тут используют openai/clip-vit-large в качестве энкодера изображений и подмешивают эти токены в модифицированный cross-attention.
Тренили его на 512x512 в течение 50k шагов и на 1024x1024 в течение 25k шагов. Во время инференса работает и в 512x512 и в 1024x1024.
Это только первая версия адаптера, поэтому может быть еще сыровата.
Веса на HF
Воркфлоу для Comfy UI
@ai_newz
IP-adapter - это штука, которая позволяет подавать в модель кроме текста еще и референсную картинку. По умолчанию Flux картинку на вход не принимает.
Подробнее про устройство IP-Adapter, и как он используется, например, в Midjourney я писал тут.
Тут используют openai/clip-vit-large в качестве энкодера изображений и подмешивают эти токены в модифицированный cross-attention.
Тренили его на 512x512 в течение 50k шагов и на 1024x1024 в течение 25k шагов. Во время инференса работает и в 512x512 и в 1024x1024.
Это только первая версия адаптера, поэтому может быть еще сыровата.
Веса на HF
Воркфлоу для Comfy UI
@ai_newz
Forwarded from УЛУЧШУ ВАШУ ЖИЗНЬ!💰 [SCAM]
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from УЛУЧШУ ВАШУ ЖИЗНЬ!💰 [SCAM]
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Институт AIRI
В новой статье на Хабре рассказываем про метод редактирования реальных изображений с помощью диффузионных моделей ⤵
Совсем недавно исследователи из группы «Контролируемый генеративный ИИ» лаборатории FusionBrain AIRI выложили препринт статьи, которую представят на конференции ECCV этой осенью. В нем предложен метод редактирования реальных изображений с помощью диффузионных моделей, который достигает лучшего среди всех методов компромисса между качеством редактирования и сохранением структуры исходного изображения.
📎 Делимся ссылкой на demo на Hugging Face, где вы можете протестировать метод на своих изображениях. Подробнее про исследование также можно прочитать в канале руководителя группы Айбека Аланова.
Научная статья | GitHub
Совсем недавно исследователи из группы «Контролируемый генеративный ИИ» лаборатории FusionBrain AIRI выложили препринт статьи, которую представят на конференции ECCV этой осенью. В нем предложен метод редактирования реальных изображений с помощью диффузионных моделей, который достигает лучшего среди всех методов компромисса между качеством редактирования и сохранением структуры исходного изображения.
Научная статья | GitHub
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Machinelearning
OpenVLA - набор моделей с 7млрд. параметров, которые предназначены для универсального управления роботами.
OpenVLA состоит из комбинации визуальных энкодеров SigLIP, DinoV2 и языковой модели Llama 2, выступающей в качестве основы. Обучение производилось на наборе данных Open-X, который состоит из 970 тыс. траекторий манипуляций в различных средах.
Модели принимают на вход языковую инструкцию и изображение рабочей области с камеры робота. Затем, OpenVLA предсказывает нормализированные действия робота, состоящие из 7-DoF дельт конечных эффекторов в виде координатных положений (x, y, z, roll, pitch, yaw, gripper).
Для выполнения на реальной роботизированной платформе действия должны быть де-нормализованы с учетом статистики, вычисляемой для каждого робота и каждого набора данных.
OpenVLA готовы к использованию для управления роботами в комбинациях действий и обстановках, если они схожи с действиями и задачами, которые присутствуют в Open-X (например, для сред BridgeV2 с роботом Widow-X).
Модели не умеют самообучаться на условиях, не представленных в предварительном обучении; для решения таких случаев разработчики подготовили подробные инструкции по самостоятельному дообучению на вашем наборе демонстраций.
Семейство OpenVLA состоит из 5 модификаций базовой OpenVLA-7B:
# Create venv
conda create -n openvla python=3.10 -y
conda activate openvla
# Install PyTorch
conda install pytorch torchvision torchaudio pytorch-cuda=12.4 -c pytorch -c nvidia -y
# Clone and install the openvla repo
git clone https://github.com/openvla/openvla.git
cd openvla
pip install -e .
# for training only
# Install Flash Attention 2
pip install packaging ninja
ninja --version; echo $? # --> should return code "0"
pip install "flash-attn==2.5.5" --no-build-isolation
@ai_machinelearning_big_data
#AI #ML #OpetVLA #Robotics
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from УЛУЧШУ ВАШУ ЖИЗНЬ!💰 [SCAM]
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from эйай ньюз
Что будет, если дать 1000 ботам возможнось думать и запустить их в Minecraft?
Они построят цивилизацию...
Только недавно писал про агента, который научился крафтить каменную кирку и кучу всего другого. И вот теперь пожалуйста, они, как муравьи, собрались и построили свой лучший мир без кожаных ублюдков.
Эксперимент был проведён небольшой группой Project Sid. Они не просто научили агентов выполнять команды, но и действовать по своей воле.
Авторы прикрутили агентам понятия о социальном мире. Они способны понимать своё место в этом мире и роль окружающих. Например, они знают, что агент Б — полицейский, его нужно слушаться, а вот агента В, Васяна из соседнего дома можно послать нахрен. Эти роли могут динамически обновляться в зависимости от ситуации.
Более того, они научили квадратных мечтать (см. видос). Там один из агентов-фермеров, услышав о странствиях одного путешественника (разработчики поощряют смолтоки ни о чём), захотел отправиться в путешествие, но потом оставил эту идею "на потом", узнав, что без него деревня голодает. Но самого интересного – технических подробностей нет и, кажется, не предвидится. Жаль, т.к. очень любопытно, что за LLM они гоняли и сколько им это стоило.
Еще у ботов был Google-документ с конституцией, и они голосовали за правки, лол. Говорят, боты универсальные, умеют пользоваться Google-доками и их можно адаптировать под другие игры.
Короче, ребята подготовили достойную высокоморальную замену человечеству (мы то без системы сдержек и противовесов ни о чем договориться не можем). В ролик вставили небольшую полит агитацию Камалы против Трампа, но просто игнорьте это.
И вишенка на торте! С агентами уже может поиграть каждый! Для этого создаём мир в Майнкрафте, открываем для подключения, копируем код порта и вставляем на сайте. Там же можно создать своего кастомного подручного. С ботом можно поболтать или дать ему какие-нибудь задания. За отдельный кэш можно запустить свою симуляцию, но это в личном порядке.
Тред
Дискорд
Реддит
Блог-пост
Сайт с плейтестом
@ai_newz
Они построят цивилизацию...
Только недавно писал про агента, который научился крафтить каменную кирку и кучу всего другого. И вот теперь пожалуйста, они, как муравьи, собрались и построили свой лучший мир без кожаных ублюдков.
Эксперимент был проведён небольшой группой Project Sid. Они не просто научили агентов выполнять команды, но и действовать по своей воле.
Авторы прикрутили агентам понятия о социальном мире. Они способны понимать своё место в этом мире и роль окружающих. Например, они знают, что агент Б — полицейский, его нужно слушаться, а вот агента В, Васяна из соседнего дома можно послать нахрен. Эти роли могут динамически обновляться в зависимости от ситуации.
Более того, они научили квадратных мечтать (см. видос). Там один из агентов-фермеров, услышав о странствиях одного путешественника (разработчики поощряют смолтоки ни о чём), захотел отправиться в путешествие, но потом оставил эту идею "на потом", узнав, что без него деревня голодает. Но самого интересного – технических подробностей нет и, кажется, не предвидится. Жаль, т.к. очень любопытно, что за LLM они гоняли и сколько им это стоило.
Еще у ботов был Google-документ с конституцией, и они голосовали за правки, лол. Говорят, боты универсальные, умеют пользоваться Google-доками и их можно адаптировать под другие игры.
Короче, ребята подготовили достойную высокоморальную замену человечеству (мы то без системы сдержек и противовесов ни о чем договориться не можем). В ролик вставили небольшую полит агитацию Камалы против Трампа, но просто игнорьте это.
И вишенка на торте! С агентами уже может поиграть каждый! Для этого создаём мир в Майнкрафте, открываем для подключения, копируем код порта и вставляем на сайте. Там же можно создать своего кастомного подручного. С ботом можно поболтать или дать ему какие-нибудь задания. За отдельный кэш можно запустить свою симуляцию, но это в личном порядке.
Тред
Дискорд
Реддит
Блог-пост
Сайт с плейтестом
@ai_newz
Forwarded from Бэкдор
Вау, команда Сбера одержала победу в международном соревновании Kaggle AutoML Grand Prix 2024 — обойдя Amazon (!) и H2O в создании ML-моделей.
Участники создавали эффективные ML-модели в пяти 24-часовых раундах. Российская команда использовала свою библиотеку LightAutoML (LAMA), что позволило им сосредоточиться на оптимизации качества моделей.
В руководстве Сбера уверены, что эта победа демонстрирует конкурентоспособность российских разработок в сфере автоматизации ML на мировом уровне.
Поздравляем победителей!
👍 Бэкдор
Участники создавали эффективные ML-модели в пяти 24-часовых раундах. Российская команда использовала свою библиотеку LightAutoML (LAMA), что позволило им сосредоточиться на оптимизации качества моделей.
В руководстве Сбера уверены, что эта победа демонстрирует конкурентоспособность российских разработок в сфере автоматизации ML на мировом уровне.
Поздравляем победителей!
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥1
Forwarded from эйай ньюз
Нобелевка за нейронки
Нобелевскую премию по физике выиграли Джеффри Хинтон и Джон Хопфилд. Премию присудили за "Фундаментальные открытия и изобретения, которые способствуют машинному обучению с искусственными нейронными сетями". При чём здесь физика - сложно понять. Похоже, комитет просто пытался хоть куда-то приткнуть нейронки, а физика тут ближе всего. Хотя, по-моему, тут больше бы подошла даже медицина - там хотя бы AlphaFold совершил прорыв в чём-то, а с открытиями в области физики из-за нейронок как-то негусто.
Возможно, причина в том, что Хопфилд всё-таки по образованию физик. Хотя его основной вклад в науку - изобретение сетей Хопфилда, рекуррентных сетей, которые во многом положили начало возрождению нейронных сетей в 80-х и 90-х.
Хинтон изобрёл метод обратного распространения ошибки для тренировки нейронок, который позволил тренировать многослойные сети. А студенты Хинтона - Илья Суцкевер и Алекс Крижевский, создали AlexNet. Именно она начала всю эту гонку нейронок, показав, что их можно масштабировать через тренировку на GPU.
В общем, хайп по нейронкам теперь проник и в Нобелевский комитет.
@ai_newz
Нобелевскую премию по физике выиграли Джеффри Хинтон и Джон Хопфилд. Премию присудили за "Фундаментальные открытия и изобретения, которые способствуют машинному обучению с искусственными нейронными сетями". При чём здесь физика - сложно понять. Похоже, комитет просто пытался хоть куда-то приткнуть нейронки, а физика тут ближе всего. Хотя, по-моему, тут больше бы подошла даже медицина - там хотя бы AlphaFold совершил прорыв в чём-то, а с открытиями в области физики из-за нейронок как-то негусто.
Возможно, причина в том, что Хопфилд всё-таки по образованию физик. Хотя его основной вклад в науку - изобретение сетей Хопфилда, рекуррентных сетей, которые во многом положили начало возрождению нейронных сетей в 80-х и 90-х.
Хинтон изобрёл метод обратного распространения ошибки для тренировки нейронок, который позволил тренировать многослойные сети. А студенты Хинтона - Илья Суцкевер и Алекс Крижевский, создали AlexNet. Именно она начала всю эту гонку нейронок, показав, что их можно масштабировать через тренировку на GPU.
В общем, хайп по нейронкам теперь проник и в Нобелевский комитет.
@ai_newz
🔥2
Forwarded from Yandex for ML
Теперь Нейро в Яндекс Поиске умеет анализировать изображения из запроса: из Поиска по картинкам и Умной камеры. Например, можно сфотографировать натюрморт и спросить, когда он был написан. Или даже попросить нашу нейросеть побыть искусствоведом и рассказать, что символизирует каждый предмет на картине.
Подписывайтесь:
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Мишин Лернинг
🎓 Уже вторая Нобелевская премия за AI — на этот раз по химии. Половина премии за предсказание структуры белков» нейросетью Alpha Fold (от DeepMind)
Нобелевскую премию по химии 2024 года: одну половину — Дэвиду Бейкеру «за вычислительный дизайн белков», а другую половину — совместно Демису Хассабису и Джону М. Джамперу «за предсказание структуры белков».
Нобелевскую премию по химии 2024 года: одну половину — Дэвиду Бейкеру «за вычислительный дизайн белков», а другую половину — совместно Демису Хассабису и Джону М. Джамперу «за предсказание структуры белков».
Forwarded from УЛУЧШУ ВАШУ ЖИЗНЬ!💰 [SCAM]
Please open Telegram to view this post
VIEW IN TELEGRAM