Forwarded from эйай ньюз
А вот и первый IP-Adapter для FLUX.1 [dev] подъехал
IP-adapter - это штука, которая позволяет подавать в модель кроме текста еще и референсную картинку. По умолчанию Flux картинку на вход не принимает.
Подробнее про устройство IP-Adapter, и как он используется, например, в Midjourney я писал тут.
Тут используют openai/clip-vit-large в качестве энкодера изображений и подмешивают эти токены в модифицированный cross-attention.
Тренили его на 512x512 в течение 50k шагов и на 1024x1024 в течение 25k шагов. Во время инференса работает и в 512x512 и в 1024x1024.
Это только первая версия адаптера, поэтому может быть еще сыровата.
Веса на HF
Воркфлоу для Comfy UI
@ai_newz
IP-adapter - это штука, которая позволяет подавать в модель кроме текста еще и референсную картинку. По умолчанию Flux картинку на вход не принимает.
Подробнее про устройство IP-Adapter, и как он используется, например, в Midjourney я писал тут.
Тут используют openai/clip-vit-large в качестве энкодера изображений и подмешивают эти токены в модифицированный cross-attention.
Тренили его на 512x512 в течение 50k шагов и на 1024x1024 в течение 25k шагов. Во время инференса работает и в 512x512 и в 1024x1024.
Это только первая версия адаптера, поэтому может быть еще сыровата.
Веса на HF
Воркфлоу для Comfy UI
@ai_newz
Forwarded from УЛУЧШУ ВАШУ ЖИЗНЬ!💰 [SCAM]
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from УЛУЧШУ ВАШУ ЖИЗНЬ!💰 [SCAM]
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Институт AIRI
В новой статье на Хабре рассказываем про метод редактирования реальных изображений с помощью диффузионных моделей ⤵
Совсем недавно исследователи из группы «Контролируемый генеративный ИИ» лаборатории FusionBrain AIRI выложили препринт статьи, которую представят на конференции ECCV этой осенью. В нем предложен метод редактирования реальных изображений с помощью диффузионных моделей, который достигает лучшего среди всех методов компромисса между качеством редактирования и сохранением структуры исходного изображения.
📎 Делимся ссылкой на demo на Hugging Face, где вы можете протестировать метод на своих изображениях. Подробнее про исследование также можно прочитать в канале руководителя группы Айбека Аланова.
Научная статья | GitHub
Совсем недавно исследователи из группы «Контролируемый генеративный ИИ» лаборатории FusionBrain AIRI выложили препринт статьи, которую представят на конференции ECCV этой осенью. В нем предложен метод редактирования реальных изображений с помощью диффузионных моделей, который достигает лучшего среди всех методов компромисса между качеством редактирования и сохранением структуры исходного изображения.
Научная статья | GitHub
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Machinelearning
OpenVLA - набор моделей с 7млрд. параметров, которые предназначены для универсального управления роботами.
OpenVLA состоит из комбинации визуальных энкодеров SigLIP, DinoV2 и языковой модели Llama 2, выступающей в качестве основы. Обучение производилось на наборе данных Open-X, который состоит из 970 тыс. траекторий манипуляций в различных средах.
Модели принимают на вход языковую инструкцию и изображение рабочей области с камеры робота. Затем, OpenVLA предсказывает нормализированные действия робота, состоящие из 7-DoF дельт конечных эффекторов в виде координатных положений (x, y, z, roll, pitch, yaw, gripper).
Для выполнения на реальной роботизированной платформе действия должны быть де-нормализованы с учетом статистики, вычисляемой для каждого робота и каждого набора данных.
OpenVLA готовы к использованию для управления роботами в комбинациях действий и обстановках, если они схожи с действиями и задачами, которые присутствуют в Open-X (например, для сред BridgeV2 с роботом Widow-X).
Модели не умеют самообучаться на условиях, не представленных в предварительном обучении; для решения таких случаев разработчики подготовили подробные инструкции по самостоятельному дообучению на вашем наборе демонстраций.
Семейство OpenVLA состоит из 5 модификаций базовой OpenVLA-7B:
# Create venv
conda create -n openvla python=3.10 -y
conda activate openvla
# Install PyTorch
conda install pytorch torchvision torchaudio pytorch-cuda=12.4 -c pytorch -c nvidia -y
# Clone and install the openvla repo
git clone https://github.com/openvla/openvla.git
cd openvla
pip install -e .
# for training only
# Install Flash Attention 2
pip install packaging ninja
ninja --version; echo $? # --> should return code "0"
pip install "flash-attn==2.5.5" --no-build-isolation
@ai_machinelearning_big_data
#AI #ML #OpetVLA #Robotics
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from УЛУЧШУ ВАШУ ЖИЗНЬ!💰 [SCAM]
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from эйай ньюз
Что будет, если дать 1000 ботам возможнось думать и запустить их в Minecraft?
Они построят цивилизацию...
Только недавно писал про агента, который научился крафтить каменную кирку и кучу всего другого. И вот теперь пожалуйста, они, как муравьи, собрались и построили свой лучший мир без кожаных ублюдков.
Эксперимент был проведён небольшой группой Project Sid. Они не просто научили агентов выполнять команды, но и действовать по своей воле.
Авторы прикрутили агентам понятия о социальном мире. Они способны понимать своё место в этом мире и роль окружающих. Например, они знают, что агент Б — полицейский, его нужно слушаться, а вот агента В, Васяна из соседнего дома можно послать нахрен. Эти роли могут динамически обновляться в зависимости от ситуации.
Более того, они научили квадратных мечтать (см. видос). Там один из агентов-фермеров, услышав о странствиях одного путешественника (разработчики поощряют смолтоки ни о чём), захотел отправиться в путешествие, но потом оставил эту идею "на потом", узнав, что без него деревня голодает. Но самого интересного – технических подробностей нет и, кажется, не предвидится. Жаль, т.к. очень любопытно, что за LLM они гоняли и сколько им это стоило.
Еще у ботов был Google-документ с конституцией, и они голосовали за правки, лол. Говорят, боты универсальные, умеют пользоваться Google-доками и их можно адаптировать под другие игры.
Короче, ребята подготовили достойную высокоморальную замену человечеству (мы то без системы сдержек и противовесов ни о чем договориться не можем). В ролик вставили небольшую полит агитацию Камалы против Трампа, но просто игнорьте это.
И вишенка на торте! С агентами уже может поиграть каждый! Для этого создаём мир в Майнкрафте, открываем для подключения, копируем код порта и вставляем на сайте. Там же можно создать своего кастомного подручного. С ботом можно поболтать или дать ему какие-нибудь задания. За отдельный кэш можно запустить свою симуляцию, но это в личном порядке.
Тред
Дискорд
Реддит
Блог-пост
Сайт с плейтестом
@ai_newz
Они построят цивилизацию...
Только недавно писал про агента, который научился крафтить каменную кирку и кучу всего другого. И вот теперь пожалуйста, они, как муравьи, собрались и построили свой лучший мир без кожаных ублюдков.
Эксперимент был проведён небольшой группой Project Sid. Они не просто научили агентов выполнять команды, но и действовать по своей воле.
Авторы прикрутили агентам понятия о социальном мире. Они способны понимать своё место в этом мире и роль окружающих. Например, они знают, что агент Б — полицейский, его нужно слушаться, а вот агента В, Васяна из соседнего дома можно послать нахрен. Эти роли могут динамически обновляться в зависимости от ситуации.
Более того, они научили квадратных мечтать (см. видос). Там один из агентов-фермеров, услышав о странствиях одного путешественника (разработчики поощряют смолтоки ни о чём), захотел отправиться в путешествие, но потом оставил эту идею "на потом", узнав, что без него деревня голодает. Но самого интересного – технических подробностей нет и, кажется, не предвидится. Жаль, т.к. очень любопытно, что за LLM они гоняли и сколько им это стоило.
Еще у ботов был Google-документ с конституцией, и они голосовали за правки, лол. Говорят, боты универсальные, умеют пользоваться Google-доками и их можно адаптировать под другие игры.
Короче, ребята подготовили достойную высокоморальную замену человечеству (мы то без системы сдержек и противовесов ни о чем договориться не можем). В ролик вставили небольшую полит агитацию Камалы против Трампа, но просто игнорьте это.
И вишенка на торте! С агентами уже может поиграть каждый! Для этого создаём мир в Майнкрафте, открываем для подключения, копируем код порта и вставляем на сайте. Там же можно создать своего кастомного подручного. С ботом можно поболтать или дать ему какие-нибудь задания. За отдельный кэш можно запустить свою симуляцию, но это в личном порядке.
Тред
Дискорд
Реддит
Блог-пост
Сайт с плейтестом
@ai_newz
Forwarded from Бэкдор
Вау, команда Сбера одержала победу в международном соревновании Kaggle AutoML Grand Prix 2024 — обойдя Amazon (!) и H2O в создании ML-моделей.
Участники создавали эффективные ML-модели в пяти 24-часовых раундах. Российская команда использовала свою библиотеку LightAutoML (LAMA), что позволило им сосредоточиться на оптимизации качества моделей.
В руководстве Сбера уверены, что эта победа демонстрирует конкурентоспособность российских разработок в сфере автоматизации ML на мировом уровне.
Поздравляем победителей!
👍 Бэкдор
Участники создавали эффективные ML-модели в пяти 24-часовых раундах. Российская команда использовала свою библиотеку LightAutoML (LAMA), что позволило им сосредоточиться на оптимизации качества моделей.
В руководстве Сбера уверены, что эта победа демонстрирует конкурентоспособность российских разработок в сфере автоматизации ML на мировом уровне.
Поздравляем победителей!
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥1
Forwarded from эйай ньюз
Нобелевка за нейронки
Нобелевскую премию по физике выиграли Джеффри Хинтон и Джон Хопфилд. Премию присудили за "Фундаментальные открытия и изобретения, которые способствуют машинному обучению с искусственными нейронными сетями". При чём здесь физика - сложно понять. Похоже, комитет просто пытался хоть куда-то приткнуть нейронки, а физика тут ближе всего. Хотя, по-моему, тут больше бы подошла даже медицина - там хотя бы AlphaFold совершил прорыв в чём-то, а с открытиями в области физики из-за нейронок как-то негусто.
Возможно, причина в том, что Хопфилд всё-таки по образованию физик. Хотя его основной вклад в науку - изобретение сетей Хопфилда, рекуррентных сетей, которые во многом положили начало возрождению нейронных сетей в 80-х и 90-х.
Хинтон изобрёл метод обратного распространения ошибки для тренировки нейронок, который позволил тренировать многослойные сети. А студенты Хинтона - Илья Суцкевер и Алекс Крижевский, создали AlexNet. Именно она начала всю эту гонку нейронок, показав, что их можно масштабировать через тренировку на GPU.
В общем, хайп по нейронкам теперь проник и в Нобелевский комитет.
@ai_newz
Нобелевскую премию по физике выиграли Джеффри Хинтон и Джон Хопфилд. Премию присудили за "Фундаментальные открытия и изобретения, которые способствуют машинному обучению с искусственными нейронными сетями". При чём здесь физика - сложно понять. Похоже, комитет просто пытался хоть куда-то приткнуть нейронки, а физика тут ближе всего. Хотя, по-моему, тут больше бы подошла даже медицина - там хотя бы AlphaFold совершил прорыв в чём-то, а с открытиями в области физики из-за нейронок как-то негусто.
Возможно, причина в том, что Хопфилд всё-таки по образованию физик. Хотя его основной вклад в науку - изобретение сетей Хопфилда, рекуррентных сетей, которые во многом положили начало возрождению нейронных сетей в 80-х и 90-х.
Хинтон изобрёл метод обратного распространения ошибки для тренировки нейронок, который позволил тренировать многослойные сети. А студенты Хинтона - Илья Суцкевер и Алекс Крижевский, создали AlexNet. Именно она начала всю эту гонку нейронок, показав, что их можно масштабировать через тренировку на GPU.
В общем, хайп по нейронкам теперь проник и в Нобелевский комитет.
@ai_newz
🔥2
Forwarded from Yandex for ML
Теперь Нейро в Яндекс Поиске умеет анализировать изображения из запроса: из Поиска по картинкам и Умной камеры. Например, можно сфотографировать натюрморт и спросить, когда он был написан. Или даже попросить нашу нейросеть побыть искусствоведом и рассказать, что символизирует каждый предмет на картине.
Подписывайтесь:
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Мишин Лернинг
🎓 Уже вторая Нобелевская премия за AI — на этот раз по химии. Половина премии за предсказание структуры белков» нейросетью Alpha Fold (от DeepMind)
Нобелевскую премию по химии 2024 года: одну половину — Дэвиду Бейкеру «за вычислительный дизайн белков», а другую половину — совместно Демису Хассабису и Джону М. Джамперу «за предсказание структуры белков».
Нобелевскую премию по химии 2024 года: одну половину — Дэвиду Бейкеру «за вычислительный дизайн белков», а другую половину — совместно Демису Хассабису и Джону М. Джамперу «за предсказание структуры белков».
Forwarded from УЛУЧШУ ВАШУ ЖИЗНЬ!💰 [SCAM]
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Рестарт
Китайцы сделали годноту — вышла нейронка, которая делает идеальные фото для документов.
Для результата просто кидаем фотку, а на выходе получаем готовый шаблон.
Юзаем бесплатно — здесь. Только не забудьте сменить язык на английский.
Для результата просто кидаем фотку, а на выходе получаем готовый шаблон.
Юзаем бесплатно — здесь. Только не забудьте сменить язык на английский.
Forwarded from эйай ньюз
This media is not supported in your browser
VIEW IN TELEGRAM
Треним Лоры для Flux 1.0 [dev] бесплатно
Люблю опенсорс. А ещё больше нонпрофит проекты, основанные на опенсорсе (да, OpenAI?).
Ежедневно выходит куча проектов с исходным кодом, о которых я даже не успеваю писать, но ведь, кроме обзора статей, хочется ещё и потыкаться самостоятельно. А установка у таких проектов обычно муторная — кто-то всё ещё с сетапом Comfy мучается.
Так вот, Tost.AI — сайт, на котором можно потыкать новые модельки и пайплайны по типу Live Portrait, до которого у меня так и не дошли руки.
Там же можно натренировать свою LoRa и делать всякие ништяки. Кстати, LoRa на Flux выходят бомбические. По набору из 6 фотографий можно консистентно генерить один и тот же объект. Детали реального объекта передаются настолько точно, что сохраняется даже текст (салют креативным фотографам).
Можно, например, по фотографиям из white бокса сделать фото продукта с моделью (или на модели), или красивую картинку где-то в необычной локации и пр.
Тут стоит отметить, что, хоть веса под non-profit лицензией, вы полностью владеете картинками, которые генерит Flux:
Делаем так (см. видос):
1. Заходим, регистрируемся на tost.ai
2. В первой плашке выбираем Train Lora
3. Придумываем триггер-ворд
4. Подгружаем файлы через кнопку Add
5. Жмём Enter и ждём минут 30
6. Качаем файл safetensor
LoRa готова, теперь можно генерить!
Для этого:
1. В первой плашке идём в Text to Image, во второй — Flux 1 Dev. Custom Lora
2. Загружаем файл LoRa, ждём, пока обновится ссылка
3. Далее всё как обычно, главное не забыть триггер-ворд
Жду ваши тесты в комментариях!
UPD: Добавили Flux.1 Dev - ControlNet inpating
Tost.ai
Лицензия FLUX.1 [Dev]
#tutorial
@ai_newz
Люблю опенсорс. А ещё больше нонпрофит проекты, основанные на опенсорсе (да, OpenAI?).
Ежедневно выходит куча проектов с исходным кодом, о которых я даже не успеваю писать, но ведь, кроме обзора статей, хочется ещё и потыкаться самостоятельно. А установка у таких проектов обычно муторная — кто-то всё ещё с сетапом Comfy мучается.
Так вот, Tost.AI — сайт, на котором можно потыкать новые модельки и пайплайны по типу Live Portrait, до которого у меня так и не дошли руки.
Там же можно натренировать свою LoRa и делать всякие ништяки. Кстати, LoRa на Flux выходят бомбические. По набору из 6 фотографий можно консистентно генерить один и тот же объект. Детали реального объекта передаются настолько точно, что сохраняется даже текст (салют креативным фотографам).
Можно, например, по фотографиям из white бокса сделать фото продукта с моделью (или на модели), или красивую картинку где-то в необычной локации и пр.
Тут стоит отметить, что, хоть веса под non-profit лицензией, вы полностью владеете картинками, которые генерит Flux:
d. Outputs. We claim no ownership rights in and to the Outputs. You are solely responsible for the Outputs you generate and their subsequent uses in accordance with this License. You may use Output for any purpose (including for commercial purposes), except as expressly prohibited herein. You may not use the Output to train, fine-tune or distill a model that is competitive with the FLUX.1 [dev] Model.
Делаем так (см. видос):
1. Заходим, регистрируемся на tost.ai
2. В первой плашке выбираем Train Lora
3. Придумываем триггер-ворд
4. Подгружаем файлы через кнопку Add
5. Жмём Enter и ждём минут 30
6. Качаем файл safetensor
LoRa готова, теперь можно генерить!
Для этого:
1. В первой плашке идём в Text to Image, во второй — Flux 1 Dev. Custom Lora
2. Загружаем файл LoRa, ждём, пока обновится ссылка
3. Далее всё как обычно, главное не забыть триггер-ворд
Жду ваши тесты в комментариях!
UPD: Добавили Flux.1 Dev - ControlNet inpating
Tost.ai
Лицензия FLUX.1 [Dev]
#tutorial
@ai_newz