Forwarded from Machinelearning
В преддверии новогодних праздников платформа подготовила набор обучающих материалов по основным направлениям ИИ:
@ai_machinelearning_big_data
#AI #ML #HuggingFace
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥1
Forwarded from Заметки Computer Vision инженера
https://youtu.be/lNNdMavmPTw
Как и обещал - более подробное видео про Stereo Depth c камеры.
Если суммаризировать:
1) Лучшее Depth что вы сейчас можете получить с NPU
2) Лучше Depth в таком маленьком корпусе и с таким расходом энергии
При этом:
1) Depth на GPU пока лучше.
2) Depth пока что более "метрический". Они не считают в зонах перекрытия и где матрика плохо сходиться. А это может сильно увеличить зону покрытия.
Как и обещал - более подробное видео про Stereo Depth c камеры.
Если суммаризировать:
1) Лучшее Depth что вы сейчас можете получить с NPU
2) Лучше Depth в таком маленьком корпусе и с таким расходом энергии
При этом:
1) Depth на GPU пока лучше.
2) Depth пока что более "метрический". Они не считают в зонах перекрытия и где матрика плохо сходиться. А это может сильно увеличить зону покрытия.
YouTube
Neural Stereo Depth estimation with OAK 4D (LENS network)
Here is the article from Luxonis, which is interesting IMHO - https://discuss.luxonis.com/blog/6553-neural-stereo-depth-estimation-with-lens
00:00:00 - Intro
00:01:15 - Usual problems with NPU stereo Depth estimation
00:03:00 - Qualcomm NPU. Why is this…
00:00:00 - Intro
00:01:15 - Usual problems with NPU stereo Depth estimation
00:03:00 - Qualcomm NPU. Why is this…
🔥1
Forwarded from Machinelearning
This media is not supported in your browser
VIEW IN TELEGRAM
🎄🎄 Qwen-Image: обновление как раз к Новому году
Свежая версия Qwen-Image получила заметный апгрейд качества.
Модель стала генерировать намного реалистичнее и аккуратнее, особенно в сложных сценах.
Что изменилось:
• более естественные генерации людей, меньше «искусственного» эффекта
• детальнее лица и мимика
• улучшены натуральные текстуры: вода, шерсть, материалы, пейзажи
• намного аккуратнее текст на картинках: лучше верстка и точность в композиции (с русским все грустно)
Модель прошла более 10 000 слепых сравнений на AI Arena и показала результат уровня топов среди open-source, оставаясь конкурентной даже рядом с закрытыми решениями.
▪Qwen Chat: https://chat.qwen.ai/?inputFeature=t2i
▪Hugging Face: https://huggingface.co/Qwen/Qwen-Image-2512
▪ModelScope: https://modelscope.ai/models/Qwen/Qwen-Image-2512
▪GitHub: https://github.com/QwenLM/Qwen-Image
▪Блог: https://qwen.ai/blog?id=qwen-image-2512
▪Демо HF: https://huggingface.co/spaces/Qwen/Qwen-Image-2512
▪Демо ModelScope: https://modelscope.cn/aigc/imageGeneration
▪API: https://modelstudio.console.alibabacloud.com/?tab=doc#/doc/?type=model&url=2840914_2&modelId=group-qwen-image-max
@ai_machinelearning_big_data
#qwen #qwenimage #openaimodels #imagemodels
Свежая версия Qwen-Image получила заметный апгрейд качества.
Модель стала генерировать намного реалистичнее и аккуратнее, особенно в сложных сценах.
Что изменилось:
• более естественные генерации людей, меньше «искусственного» эффекта
• детальнее лица и мимика
• улучшены натуральные текстуры: вода, шерсть, материалы, пейзажи
• намного аккуратнее текст на картинках: лучше верстка и точность в композиции (с русским все грустно)
Модель прошла более 10 000 слепых сравнений на AI Arena и показала результат уровня топов среди open-source, оставаясь конкурентной даже рядом с закрытыми решениями.
▪Qwen Chat: https://chat.qwen.ai/?inputFeature=t2i
▪Hugging Face: https://huggingface.co/Qwen/Qwen-Image-2512
▪ModelScope: https://modelscope.ai/models/Qwen/Qwen-Image-2512
▪GitHub: https://github.com/QwenLM/Qwen-Image
▪Блог: https://qwen.ai/blog?id=qwen-image-2512
▪Демо HF: https://huggingface.co/spaces/Qwen/Qwen-Image-2512
▪Демо ModelScope: https://modelscope.cn/aigc/imageGeneration
▪API: https://modelstudio.console.alibabacloud.com/?tab=doc#/doc/?type=model&url=2840914_2&modelId=group-qwen-image-max
@ai_machinelearning_big_data
#qwen #qwenimage #openaimodels #imagemodels
🔥2
Forwarded from эйай ньюз
This media is not supported in your browser
VIEW IN TELEGRAM
LTX-2 - open weight 4K/50fps видео с аудио от Lightricks
Lightricks, компания, стоящая за одним из первых "контент-заводов" LTX-Studio ещё до того, как эти заводы заполонили Твиттер, сделала интересный пивот. Чуваки выпустили в опенсорс видеомодель LTX-2, первая версия которой, лежала в основе их реактора.
Модель занимает не самое высокое 23-е место на LM видео арене, но главное здесь не это. LTX-2 — первая полностью открытая модель, которая умеет генерить нативное 4K видео при 50 FPS с синхронизированным аудио (диалоги, музыка, SFX) длиной до 20 секунд.
В основе LTX-2 лежит единый асимметричный двухпоточный трансформер для совместной генерации аудио и видео через кросс-атенш.
Модель на 19B (14 для видео и 5 для аудио) спроектирована для запуска на потребительских GPU. В опенсорс выложены не только веса, но и пайплайны для инференса и код для тренировки. Кроме того из коробки LTX-2 квантована в NVFP8 (на 30% меньше, до 2х раз быстрее) и оптимизирована под экосистему NVIDIA, а ComfyUI поддерживает её с первого дня.
Не совсем понятно, как этот релиз сочетается с их основной бизнес-моделью. И если раньше их амбициозное желание создать свою модель было понятно, то зачем выкладывать её в опенсорс — совсем неясно. Ведь умельцы из ComfyUI уже повторили тот же LTX Studio у себя в Comfy и n8n на других моделях.
UPD: На сайте пишут про нативные 4K, но на деле же, как верно подметили в комментариях, там используют апскейл. Контора сами знаете кого.
Техрепорт
GitHub
Hugging Face
Попробовать
@ai_newz
Lightricks, компания, стоящая за одним из первых "контент-заводов" LTX-Studio ещё до того, как эти заводы заполонили Твиттер, сделала интересный пивот. Чуваки выпустили в опенсорс видеомодель LTX-2, первая версия которой, лежала в основе их реактора.
Модель занимает не самое высокое 23-е место на LM видео арене, но главное здесь не это. LTX-2 — первая полностью открытая модель, которая умеет генерить нативное 4K видео при 50 FPS с синхронизированным аудио (диалоги, музыка, SFX) длиной до 20 секунд.
В основе LTX-2 лежит единый асимметричный двухпоточный трансформер для совместной генерации аудио и видео через кросс-атенш.
Модель на 19B (14 для видео и 5 для аудио) спроектирована для запуска на потребительских GPU. В опенсорс выложены не только веса, но и пайплайны для инференса и код для тренировки. Кроме того из коробки LTX-2 квантована в NVFP8 (на 30% меньше, до 2х раз быстрее) и оптимизирована под экосистему NVIDIA, а ComfyUI поддерживает её с первого дня.
Не совсем понятно, как этот релиз сочетается с их основной бизнес-моделью. И если раньше их амбициозное желание создать свою модель было понятно, то зачем выкладывать её в опенсорс — совсем неясно. Ведь умельцы из ComfyUI уже повторили тот же LTX Studio у себя в Comfy и n8n на других моделях.
UPD: На сайте пишут про нативные 4K, но на деле же, как верно подметили в комментариях, там используют апскейл. Контора сами знаете кого.
Техрепорт
GitHub
Hugging Face
Попробовать
@ai_newz
🔥1
Forwarded from Neural Shit
Наткнулся на интересную статью. Это буквально самый тупой (и одновременно гениальный) промпт-хак.
Исследователи из Google Research выяснили, что если нейронка тупит, не надо придумывать сложные цепочки рассуждений или молиться духам машины. Нужно просто повторить промпт два раза подряд. Буквально CTRL+C —> CTRL+V.
Почему? Почти все современные LLM читают слева направо. Токены в начале промпта "не видят" токенов в конце. А когда вы дублируете запрос, вторая копия промпта через механизм внимания может смотреть на первую копию целиком. Получается, что модель сразу видит весь контекст и лучше понимает задачу.
Протестили на Gemini, GPT-4o, Claude 3 и DeepSeek. По цифрам из статьи:
— Метод победил в 47 из 70 тестов (0 поражений, остальные — ничья).
— В задачах на поиск инфы в тексте точность взлетала с убогих 21% до 97%!
— Время генерации не растет
И да, работает это только на моделях с выключенным режимом размышлений, ибо модели в reasoning режиме сами повторяют себе запрос в процессе.
Промпт-инжиниринг, который мы заслужили
тут статья
Исследователи из Google Research выяснили, что если нейронка тупит, не надо придумывать сложные цепочки рассуждений или молиться духам машины. Нужно просто повторить промпт два раза подряд. Буквально CTRL+C —> CTRL+V.
Почему? Почти все современные LLM читают слева направо. Токены в начале промпта "не видят" токенов в конце. А когда вы дублируете запрос, вторая копия промпта через механизм внимания может смотреть на первую копию целиком. Получается, что модель сразу видит весь контекст и лучше понимает задачу.
Протестили на Gemini, GPT-4o, Claude 3 и DeepSeek. По цифрам из статьи:
— Метод победил в 47 из 70 тестов (0 поражений, остальные — ничья).
— В задачах на поиск инфы в тексте точность взлетала с убогих 21% до 97%!
— Время генерации не растет
И да, работает это только на моделях с выключенным режимом размышлений, ибо модели в reasoning режиме сами повторяют себе запрос в процессе.
Промпт-инжиниринг, который мы заслужили
тут статья
arXiv.org
Prompt Repetition Improves Non-Reasoning LLMs
When not using reasoning, repeating the input prompt improves performance for popular models (Gemini, GPT, Claude, and Deepseek) without increasing the number of generated tokens or latency.
🔥3
Forwarded from DeepSchool / underthehood (Mikhail Poma)
Привет! Сегодня я хотел бы рассказать про два соревнования, которые дали мне статус kaggle эксперта. Они абсолютно разные, но оба из биомед домена, который интересует меня больше всего.
🩻 Первое соревнование проходило в 2024 году и было посвящено Computer Vision в работе с МРТ-снимками спины. В соревновании использовались МРТ-данные позвоночника. Для каждого пациента это был набор последовательных двумерных снимков, которые вместе образуют трёхмерное изображение спины. По этим данным нужно было определить, есть ли защемление поясничных нервов.
Я нашёл сокомандника из своего городка в пригороде Тель-Авива и присоединился к его команде. Мы обсудили многоступенчатую модель, в нее входили:
▪️сегментация нужных позвонков на вертикальных срезах
▪️сопоставление нужных горизонтальных срезов с детекций
▪️классификация нужных зон на отобранных срезах
Проверив, что всё работает, как ожидалось, мы разошлись по разным направлениям тестировать свои гипотезы. В итоге мы успели попробовать множество вещей, я даже улучшил публичный алгоритм сопоставления горизонтальных и вертикальных срезов, но самым успешным шагом стала оптимизация публичного YOLO бейзлайна, вдохновлённая лекциями CV rocket. В итоге после мерджа наших решений мы получили 103 место по миру и бронзовую медаль.
🧬 Вторым значимым для меня биомед проектом на kaggle стало соревнование по предсказанию трёхмерной структуры РНК от Стэнфорда в 2025 году.
Это была возможность попробовать свои силы в этом пока новом для меня домене. Так как мне не хватало доменной экспертизы, я нашёл себе сильного сокомандника биоинформатика. Моя зона ответственности была в том, чтобы затаскивать различные нейронки от передовых лабораторий в среду Kaggle и проверять результаты. Также мне было безумно интересно сделать файнтюн LoRA для опенсорс версии AlphaFold3 на данных соревнования, но в конечный зачёт это решение не дошло, потому что решения без использования информации о разных биологических видах априори проигрывали решениям с оными. Результатом стало 29 место по миру и серебряная медаль.
Из этих соревнований я вынес две вещи. Первое - на чистой удаче и энтузиазме крайне сложно получить результат мирового уровня. Результат приходит, когда ты лучше разобрался в домене, данных и в применении конкретной архитектуры под конкретную задачу. Второе, и наверно, более важное - чем быстрее ты можешь проверить свою гипотезу, узнать что работает, а что нет - тем лучше будет результат, даже если будет много ошибок. Потому что маленькие шаги позволяют проверить и узнать много, в то время как большие амбициозные шаги, основанные на собственных убеждениях, чаще уводят тебя с верного пути. И эти выводы я буду стараться привносить в свою дальнейшую работу за пределами kaggle.
🩻 Первое соревнование проходило в 2024 году и было посвящено Computer Vision в работе с МРТ-снимками спины. В соревновании использовались МРТ-данные позвоночника. Для каждого пациента это был набор последовательных двумерных снимков, которые вместе образуют трёхмерное изображение спины. По этим данным нужно было определить, есть ли защемление поясничных нервов.
Я нашёл сокомандника из своего городка в пригороде Тель-Авива и присоединился к его команде. Мы обсудили многоступенчатую модель, в нее входили:
▪️сегментация нужных позвонков на вертикальных срезах
▪️сопоставление нужных горизонтальных срезов с детекций
▪️классификация нужных зон на отобранных срезах
Проверив, что всё работает, как ожидалось, мы разошлись по разным направлениям тестировать свои гипотезы. В итоге мы успели попробовать множество вещей, я даже улучшил публичный алгоритм сопоставления горизонтальных и вертикальных срезов, но самым успешным шагом стала оптимизация публичного YOLO бейзлайна, вдохновлённая лекциями CV rocket. В итоге после мерджа наших решений мы получили 103 место по миру и бронзовую медаль.
🧬 Вторым значимым для меня биомед проектом на kaggle стало соревнование по предсказанию трёхмерной структуры РНК от Стэнфорда в 2025 году.
Это была возможность попробовать свои силы в этом пока новом для меня домене. Так как мне не хватало доменной экспертизы, я нашёл себе сильного сокомандника биоинформатика. Моя зона ответственности была в том, чтобы затаскивать различные нейронки от передовых лабораторий в среду Kaggle и проверять результаты. Также мне было безумно интересно сделать файнтюн LoRA для опенсорс версии AlphaFold3 на данных соревнования, но в конечный зачёт это решение не дошло, потому что решения без использования информации о разных биологических видах априори проигрывали решениям с оными. Результатом стало 29 место по миру и серебряная медаль.
Из этих соревнований я вынес две вещи. Первое - на чистой удаче и энтузиазме крайне сложно получить результат мирового уровня. Результат приходит, когда ты лучше разобрался в домене, данных и в применении конкретной архитектуры под конкретную задачу. Второе, и наверно, более важное - чем быстрее ты можешь проверить свою гипотезу, узнать что работает, а что нет - тем лучше будет результат, даже если будет много ошибок. Потому что маленькие шаги позволяют проверить и узнать много, в то время как большие амбициозные шаги, основанные на собственных убеждениях, чаще уводят тебя с верного пути. И эти выводы я буду стараться привносить в свою дальнейшую работу за пределами kaggle.
👍4🔥1
Forwarded from Machinelearning
BFL вышли на связь c релизом прямого наследника ветки
schnell первой версии семейства Flux.Знакомьтесь - FLUX.2 [Klein], модель, которая возвращает веру в то, что с маленьким VRAM тоже можно жить.
Это попытка впихнуть качество топовой FLUX.2 в формат, которую потянет большинство потребительских GPU.
Klein получился довольно универсальным инструментом: она умеет и text-to-image, и инпэйинт, и смешивание стилей.
Заявлены разрешение до 4 мегапикселей, отличный рендеринг текста и понимание сложных промптов.
BFL взяли флагманскую FLUX.2 и сжали знания в 2 компактные версии: 4B и 9B, каждая из которых получила вариации Base и Distilled:
Если захотите тренить на 4B Distilled - получите кашу.
9B distilled — 4 шага · ~2 сек. · 19.6GB VRAM
9B base — 50 шагов · ~35 сек · 21.7GB VRAM
4B distilled — 4 шага · ~1.2 сек. · 8.4GB VRAM
4B base — 50 шагов · ~17 сек. · 9.2GB VRAM
Веса уже на Hugging Face, потыкать в демо можно у BFL или в спейсах на HF: 9B и 4В.
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥1
Forwarded from ODS Events
Привет!
Уже 24 января состоится Stereo Data Ёлка 2025🎄🦜
Формат мероприятия гибридный: офлайны в Москве и Питере в гостях у ВК и один общий онлайн-эфир на VK Video ODS.
🗓 Программа в Москве: итоги года в NLP, Recsys, AI4SE/CodeGen, Robotics, Career + разбор решений и награждение победителей VK RecSys Challenge! 🏆
🗓 Программа в Питере: итоги года в секциях MLOps, Open Source, ML in Healthcare, ML in Rust.
🗓 Расписание онлайн-эфира
Регистрируйтесь на офлайны до 22 января и ждите письмо с приглашением!
🎁 На каждой площадке будут свои уникальные активности и нетворкинг для тех, кто пришел поучаствовать в мероприятии лично.
Всех ждём!🤗
Уже 24 января состоится Stereo Data Ёлка 2025🎄
Формат мероприятия гибридный: офлайны в Москве и Питере в гостях у ВК и один общий онлайн-эфир на VK Video ODS.
🗓 Программа в Москве: итоги года в NLP, Recsys, AI4SE/CodeGen, Robotics, Career + разбор решений и награждение победителей VK RecSys Challenge! 🏆
🗓 Программа в Питере: итоги года в секциях MLOps, Open Source, ML in Healthcare, ML in Rust.
🗓 Расписание онлайн-эфира
Регистрируйтесь на офлайны до 22 января и ждите письмо с приглашением!
🎁 На каждой площадке будут свои уникальные активности и нетворкинг для тех, кто пришел поучаствовать в мероприятии лично.
Всех ждём!🤗
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥1
Forwarded from Нейродвиж
Вышел бесплатный курс от Microsoft по ИИ-агентам — вас ждут 11 уроков, которые научат создавать автономных ИИ агентов для выполнения различных задач.
Вы узнаете:
— Что такое агенты;
— Когда и зачем их стоит использовать;
— Как их проектировать;
— И как как создавать своих агентов с помощью Azure, GitHub Models и Python.
В каждом уроке есть текстовый документ, видеоукрок и пример кода — забираем😊
Вы узнаете:
— Что такое агенты;
— Когда и зачем их стоит использовать;
— Как их проектировать;
— И как как создавать своих агентов с помощью Azure, GitHub Models и Python.
В каждом уроке есть текстовый документ, видеоукрок и пример кода — забираем
Please open Telegram to view this post
VIEW IN TELEGRAM
👍1🔥1
Forwarded from Нейродвиж
Нейронки станут быстрее: вышел PyTorch 2.10 с поддержкой свежего Python 3.14 и умными алгоритмами ускорения 😘
Разработчики главного движка для нейросетей представили апдейт, который заставляет видеокарты работать эффективнее, а код — исполняться без лишних пауз.
Что изменилось:
— Технология «Combo-Kernels» объединяет мелкие задачи в одну большую — это убирает простои GPU и ускоряет обучение моделей😮
— Новый режим отладки позволяет пошагово найти момент, когда вычисления «ломаются», что экономит недели работы программистам.
— Добавлен спецрежим для данных разной длины (важно для чат-ботов), чтобы они обрабатывались быстрее и потребляли меньше ресурсов.
— Теперь результаты вычислений всегда будут одинаковыми от запуска к запуску, что критично для серьезных научных и финансовых моделей.
Изучить все технические подробности можно — здесь.
Разработчики главного движка для нейросетей представили апдейт, который заставляет видеокарты работать эффективнее, а код — исполняться без лишних пауз.
Что изменилось:
— Технология «Combo-Kernels» объединяет мелкие задачи в одну большую — это убирает простои GPU и ускоряет обучение моделей
— Новый режим отладки позволяет пошагово найти момент, когда вычисления «ломаются», что экономит недели работы программистам.
— Добавлен спецрежим для данных разной длины (важно для чат-ботов), чтобы они обрабатывались быстрее и потребляли меньше ресурсов.
— Теперь результаты вычислений всегда будут одинаковыми от запуска к запуску, что критично для серьезных научных и финансовых моделей.
Изучить все технические подробности можно — здесь.
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥1
Forwarded from DeepSchool / underthehood (Artem Solomko)
"Синтезируй это"
Небольшой пост про конвейерные ленты и одну из самых частых болей в таких проектах — данные.
Контроль состояния лент — классическая индустриальная задача: порезы, обрывы, оголённые корды, пробои, артефакты на поверхности.
Проблема в том, что самые важные события почти не происходят. И это хорошо для производства, но плохо для обучения моделей
Когда доступных данных недостаточно или наблюдаемые события крайне редки (например, обрыв ленты или специфический дефект изделия), синтетическая генерация данных становится не “костылём”, а инструментом.
Особенно если смотреть на задачу в рамках датацентричного подхода: часто улучшение качества и разнообразия датасета даёт больший эффект, чем бесконечный тюнинг архитектуры.
Зачем вообще нужна генерация в таких проектах:
1. балансировка классов — когда критичный класс занимает, например, 1% датасета
2. моделирование редких сценариев — тех, что почти не встречаются в реальности
3. симуляция условий инференса — освещение, фон, загрязнения
4. подготовка pretrain-датасетов — для более устойчивых feature-экстракторов
мы давно ушли от подхода “прилепить патч и размазать блюром”.
Модель очень быстро учится детектировать сам блюр – на верхнем фото это хорошо видно по сегментированным патчам, а не дефект — в итоге получаем ложные срабатывания и хрупкое поведение.
Что работает на практике:
Image composition / inpainting.
Подходы с использованием PowerPaint, HD-Painter — когда у нас есть объект и маска, и мы аккуратно “встраиваем” его в разные сцены. Удобно для переноса дефектов между типами полотна.
Diffusion-модели.
Stable Diffusion полезны, но в индустрии работа с промтами чаще всего не наш основной сценарий. Слишком много свободы там, где нужна управляемость.
ControlNet (мы пользуемся из AnyDoor или libcom ).
Позволяют жёстко задать структуру дефекта и при этом варьировать условия. Один и тот же дефект — разный фон, освещение, текстура.
Гибридные подходы.
Часто берём реальные изображения, добавляем дефекты генеративно, а потом усиливаем вариативность аугментациями.
Моё мнение из практики: лучше всего работают подходы “объект + маска ➡️ аккуратная вставка”, а не генерация “с нуля по тексту”. Из инструментов — AnyDoor, Libcom сейчас закрывают большинство задач.
Пару практических субъективных рекомендаций напоследок:
1. используйте генерацию там, где вы контролируете семантику
2. проверяйте, что изображение осмысленно и пригодно для разметки
3. комбинируйте с активным обучением: самые «неуверенные» примеры — самые ценные
Синтетика — это не про “обмануть модель”. Это про то, чтобы показать ей мир чуть шире, чем удалось собрать камерами. А что вы используете вы? 😉
Небольшой пост про конвейерные ленты и одну из самых частых болей в таких проектах — данные.
Контроль состояния лент — классическая индустриальная задача: порезы, обрывы, оголённые корды, пробои, артефакты на поверхности.
Проблема в том, что самые важные события почти не происходят. И это хорошо для производства, но плохо для обучения моделей
Когда доступных данных недостаточно или наблюдаемые события крайне редки (например, обрыв ленты или специфический дефект изделия), синтетическая генерация данных становится не “костылём”, а инструментом.
Особенно если смотреть на задачу в рамках датацентричного подхода: часто улучшение качества и разнообразия датасета даёт больший эффект, чем бесконечный тюнинг архитектуры.
Зачем вообще нужна генерация в таких проектах:
1. балансировка классов — когда критичный класс занимает, например, 1% датасета
2. моделирование редких сценариев — тех, что почти не встречаются в реальности
3. симуляция условий инференса — освещение, фон, загрязнения
4. подготовка pretrain-датасетов — для более устойчивых feature-экстракторов
мы давно ушли от подхода “прилепить патч и размазать блюром”.
Модель очень быстро учится детектировать сам блюр – на верхнем фото это хорошо видно по сегментированным патчам, а не дефект — в итоге получаем ложные срабатывания и хрупкое поведение.
Что работает на практике:
Image composition / inpainting.
Подходы с использованием PowerPaint, HD-Painter — когда у нас есть объект и маска, и мы аккуратно “встраиваем” его в разные сцены. Удобно для переноса дефектов между типами полотна.
Diffusion-модели.
Stable Diffusion полезны, но в индустрии работа с промтами чаще всего не наш основной сценарий. Слишком много свободы там, где нужна управляемость.
ControlNet (мы пользуемся из AnyDoor или libcom ).
Позволяют жёстко задать структуру дефекта и при этом варьировать условия. Один и тот же дефект — разный фон, освещение, текстура.
Гибридные подходы.
Часто берём реальные изображения, добавляем дефекты генеративно, а потом усиливаем вариативность аугментациями.
Моё мнение из практики: лучше всего работают подходы “объект + маска ➡️ аккуратная вставка”, а не генерация “с нуля по тексту”. Из инструментов — AnyDoor, Libcom сейчас закрывают большинство задач.
Пару практических субъективных рекомендаций напоследок:
1. используйте генерацию там, где вы контролируете семантику
2. проверяйте, что изображение осмысленно и пригодно для разметки
3. комбинируйте с активным обучением: самые «неуверенные» примеры — самые ценные
Синтетика — это не про “обмануть модель”. Это про то, чтобы показать ей мир чуть шире, чем удалось собрать камерами. А что вы используете вы? 😉
👍1🔥1
Forwarded from КПД
На GPU Mode недавно вышла 3-х часовая лекция про RL, Агентов и фреймворк для создания и работы со средами OpenEnv.
Выступают рассказчики из unsloth, лицехватс и разработчики торча.
Довольно содержательно и познавательно. В частности, разбираются характерные нюансы и проблемы обучения с подкреплением.
Выступают рассказчики из unsloth, лицехватс и разработчики торча.
Довольно содержательно и познавательно. В частности, разбираются характерные нюансы и проблемы обучения с подкреплением.
🔥1
Forwarded from КПД
Качественный и иллюстративный получасовой видеообзор субквадратичных аналогов внимания.
В частности, разобраны:
• Linear Attention
• Gated Linear Attention
• Gated Delta Net
• Titan
В частности, разобраны:
• Linear Attention
• Gated Linear Attention
• Gated Delta Net
• Titan
🔥1
Forwarded from Machinelearning
PaddlePaddle обновили свою линейку PaddleOCR-VL, выпустив PaddleOCR-VL-1.5 - компактную VLM на 0.9 млрд. параметров на базе ERNIE-4.5-0.3B-Paddle. Несмотря на скромный размер, в задачах разбора документов она показывает SOTA-результаты.
На тесте OmniDocBench v1.5 модель выбила 94.5% точности, обойдя не только прошлую версию, но и более тяжелых конкурентов.
Фишка обновления - упор на полевые условия. Модель специально учили работать с плохими исходниками: кривыми сканами, бликами от мониторов и мятыми страницами.
Попутно сделали бенчмарк Real5-OmniDocBench, который гоняет модели по 5 сценариям: сканирование, перекосы, деформация листа, фото с экрана и плохое освещение.
Модель работает с
transformers, дружит с Flash Attention 2 и, само собой, поддерживается PaddlePaddle 3.2.1.Если нужно быстро поднять сервис - есть готовый Docker-образ.
Если нужен полноценный постраничный парсинг всего документа, лучше использовать официальный пакет PaddleOCR. Реализация через transformers пока ограничена только распознаванием отдельных элементов и споттингом.
В пайплайн встроили логику препроцессинга. Если картинка меньше 1500 пикселей, она автоматом апскейлится фильтром Lanczos. При этом есть потолок в 1.6 млн. пикселей для споттинга, это чтобы не перегружать память GPU и сохранить читаемость мелкого шрифта.
@ai_machinelearning_big_data
#AI #ML #VL #OCR #PaddleOCR
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥4