Forwarded from 🦒∵ girafe.ai
Открытый вебинар «Агенты без магии» от основателя girafe-ai, к.ф.-м.н., преподавателя ведущих российских вузов Радослава Нейчева.
На вебинаре разберём:
• как правильно ставить задачи агенту
• что такое скиллы, MCP и зачем они нужны
• в чем разница с пайплайнами, и почему для повторяемых задач они лучше подходят (например, n8n)
⬇️ Подробности и регистрация ⬇️
Приглашаем к участию.
На вебинаре разберём:
• как правильно ставить задачи агенту
• что такое скиллы, MCP и зачем они нужны
• в чем разница с пайплайнами, и почему для повторяемых задач они лучше подходят (например, n8n)
⬇️ Подробности и регистрация ⬇️
Приглашаем к участию.
Telegram
Rad’s ai
На конференциях только и разговоров, что об агентах.
Вообще, я бы назвал это harness'ами. Они могут приносить кучу пользы, и их огромное количество: Claude Code, Codex, pi, Hermes, OpenClaw, Cursor, Muse Code...
Хорошая новость в том, что под капотом +…
Вообще, я бы назвал это harness'ами. Они могут приносить кучу пользы, и их огромное количество: Claude Code, Codex, pi, Hermes, OpenClaw, Cursor, Muse Code...
Хорошая новость в том, что под капотом +…
Forwarded from КПД
Введение в Квантизацию.pdf
6.1 MB
📚 Презентация про квантизацию с моего выступления на нашей Hardware Efficiency Reading Group, где мы обсуждаем статьи, идеи и практические аспекты эффективного глубокого обучения.
🎥 Записи и 📋 программу прошлых семинаров можно найти здесь.
🗓️ Семинар проходит (почти) каждый понедельник с 13:00 до 14:00.
📢 Группа с анонсами и материалами — тут.
Будем рады всем, кто интересуется эффективным глубоким обучением, GPU, CUDA, оптимизацией и современными ML-системами! 🚀
🎥 Записи и 📋 программу прошлых семинаров можно найти здесь.
🗓️ Семинар проходит (почти) каждый понедельник с 13:00 до 14:00.
📢 Группа с анонсами и материалами — тут.
Будем рады всем, кто интересуется эффективным глубоким обучением, GPU, CUDA, оптимизацией и современными ML-системами! 🚀
🔥1
Forwarded from CV Time
Курс по Visual GenAI от Yandex Research и ШАД
Авторы CV Time не только пишут обзоры статей о компьютерном зрении, но и создают обучающие курсы.
Сегодня делимся курсом ШАДа «Генеративные модели в компьютерном зрении», который ведёт Дмитрий Баранчук, руководитель группы GenAI в Yandex Research, вместе с праймовой командой исследователей в этой области.
Будет полезно тем, у кого есть базовые знания по генеративкам и желание разобраться глубже:
• в теории диффузионных моделей, эффективных методах их обучения и семплирования;
• в новых гибридных моделях на основе диффузии для генерации изображений, видео и 3D.
У курса есть открытый GitHub-репозиторий, где можно найти слайды, записи лекций и семинаров, а также домашние задания.
CV Time
Авторы CV Time не только пишут обзоры статей о компьютерном зрении, но и создают обучающие курсы.
Сегодня делимся курсом ШАДа «Генеративные модели в компьютерном зрении», который ведёт Дмитрий Баранчук, руководитель группы GenAI в Yandex Research, вместе с праймовой командой исследователей в этой области.
Будет полезно тем, у кого есть базовые знания по генеративкам и желание разобраться глубже:
• в теории диффузионных моделей, эффективных методах их обучения и семплирования;
• в новых гибридных моделях на основе диффузии для генерации изображений, видео и 3D.
У курса есть открытый GitHub-репозиторий, где можно найти слайды, записи лекций и семинаров, а также домашние задания.
CV Time
🔥1
Forwarded from КПД
📄 Блогпост
🌵 Стартап Cactus Compute выпустил крохотную модель Needle 2 с весом чекпоинта всего 14 Mb для tool calling и работы со структурированными входа для edge устройств.
Исходная модель имеет 45M параметров, поверх нее применяется CQ-2bit квантизация (некая проприетарная техника).
Квантизация получается в процессе обучения (Quantization Aware Training).
⚡ Скорость
На префилле скорость 800+ tok/s, и 500+ tok/s на декоде на Raspberry Pi 5. Еще оно якобы быстро генерит на VR устройствах и Samsung-ах.
🏗️ Архитектура
Архитектура основана на ихней же работе Simple Attention Network. Там немало архитектурных прибамбасов:
• mHC
• Engram
• Hadamard MLP. Дабы сэкономить на параметры, параметризуют веса как произведение диагональной на Адамарову матрицу.
• GQA + Sliding Attention + синки для тулов
Needle 2 производит меньше операций на токен против традиционной трансформерной архитектуры.
📚 Обучение
На обучение потратили 115B токенов из проприетарных токенов и 38B на посттрейн, что на порядки меньше, чем у LFM.
📊 Бенчмарки
Модель оценивают на бенчмарках:
• Mobile Actions
• Droid Call
• Seal-Tools
• BFCL v4
🎯 Оно выходит по качеству близко к Function Gemma 270M, LFM 2.5 230M, Apple FM, будучи при этом гораздо меньше.
🌵 Стартап Cactus Compute выпустил крохотную модель Needle 2 с весом чекпоинта всего 14 Mb для tool calling и работы со структурированными входа для edge устройств.
Исходная модель имеет 45M параметров, поверх нее применяется CQ-2bit квантизация (некая проприетарная техника).
Квантизация получается в процессе обучения (Quantization Aware Training).
⚡ Скорость
На префилле скорость 800+ tok/s, и 500+ tok/s на декоде на Raspberry Pi 5. Еще оно якобы быстро генерит на VR устройствах и Samsung-ах.
🏗️ Архитектура
Архитектура основана на ихней же работе Simple Attention Network. Там немало архитектурных прибамбасов:
• mHC
• Engram
• Hadamard MLP. Дабы сэкономить на параметры, параметризуют веса как произведение диагональной на Адамарову матрицу.
• GQA + Sliding Attention + синки для тулов
Needle 2 производит меньше операций на токен против традиционной трансформерной архитектуры.
📚 Обучение
На обучение потратили 115B токенов из проприетарных токенов и 38B на посттрейн, что на порядки меньше, чем у LFM.
📊 Бенчмарки
Модель оценивают на бенчмарках:
• Mobile Actions
• Droid Call
• Seal-Tools
• BFCL v4
🎯 Оно выходит по качеству близко к Function Gemma 270M, LFM 2.5 230M, Apple FM, будучи при этом гораздо меньше.
🔥1
Forwarded from Yandex for ML
Вместе подведём ключевые итоги ICML и других международных конференций, поделимся своими инсайтами и выводами. Разложим по полочкам, что произошло в ML-индустрии за первое полугодие 2026 года.
В программе — доклады руководителей разных команд Яндекса:
Подписывайтесь:
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from DeepSchool
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Machinelearning
Главный упор сделали на обработку перегруженных страницы, где текст, изображения и подписи идут плотно и наслаиваются друг на друга.
По данным Mistral, модель точнее определяет границы каждого элемента - рамки не съезжают, изображения не наезжают одно в другое по ошибке.
На нагруженных технических диаграммах модель реже теряет блоки, а текстовые выноски считывает как самостоятельные объекты, а не сливает в один массив.
Отдельно заявлена работа с многоколоночными документами, OCR 4.1 сохраняет исходную структуру страницы и отдает каждую колонку отдельной областью текста.
В настроенных процессах тем, кто пользуется моделью, менять ничего не нужно. Алиас
mistral-ocr-latest уже переводит существующие интеграции на новую версию.Руками модель можно попробовать в Mistral Studio.
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from эйай ньюз
Открытая MoE-видеомодель MAGI-2 Preview от Sand.ai
Разработчики из Sand.ai выложили в открытый доступ веса и код инференса MAGI-2 Preview. Модель построена на single-stream архитектуре и генерирует 10-секундные ролики сразу вместе с синхронной аудиодорожкой.
Внутри применили редкий для таких моделей fine-grained MoE. При суммарном объеме в 114B параметров на каждый токен активируется всего 6B. По объему вычислений на шаг это в разы легче плотного MiniMax H3 (33B), благодаря чему стоимость инференса упала в ~10 раз, а модель заскочила на 6 место в лидерборде Artificial Analysis.
Сам пайплайн генерации двухстадийный. Сначала базовая модель генерирует видео в низком разрешении, а затем refiner апскейлит результат до 1080p.
Пока это не конкурент MiniMax H3 в плане локальной доступности. Квантованный H3 влезает в одну карту на 24GB (RTX 3090/4090), тогда как для MAGI-2 нужно заметно больше ресурсов. Зато у облачных провайдеров за счет всего 6B активных параметров инференс по API будет значительно дешевле dense моделей, да и у такой архитектуры хороший потенциал для скейлинга.
Техрепорт
Код
Веса
@ai_newz
Разработчики из Sand.ai выложили в открытый доступ веса и код инференса MAGI-2 Preview. Модель построена на single-stream архитектуре и генерирует 10-секундные ролики сразу вместе с синхронной аудиодорожкой.
Внутри применили редкий для таких моделей fine-grained MoE. При суммарном объеме в 114B параметров на каждый токен активируется всего 6B. По объему вычислений на шаг это в разы легче плотного MiniMax H3 (33B), благодаря чему стоимость инференса упала в ~10 раз, а модель заскочила на 6 место в лидерборде Artificial Analysis.
Сам пайплайн генерации двухстадийный. Сначала базовая модель генерирует видео в низком разрешении, а затем refiner апскейлит результат до 1080p.
Пока это не конкурент MiniMax H3 в плане локальной доступности. Квантованный H3 влезает в одну карту на 24GB (RTX 3090/4090), тогда как для MAGI-2 нужно заметно больше ресурсов. Зато у облачных провайдеров за счет всего 6B активных параметров инференс по API будет значительно дешевле dense моделей, да и у такой архитектуры хороший потенциал для скейлинга.
Техрепорт
Код
Веса
@ai_newz
Forwarded from Machinelearning
Библиотека написана на Rust, есть привязки для Python, а в основе - TurboQuant, алгоритм сжатия векторов, который Google описали в статье, принятой на ICLR 2026.
Сама библиотека к Google отношения не имеет, это независимая реализация чужого алгоритма.
Коллекция из 10 миллионов документов, занимающая в исходном виде 31 гигабайт, умещается в 4. Поиск при этом, как утверждает автор, идёт быстрее, чем в FAISS - одного из самых распространённых инструментов в этой области.
По замерам turbovec обгоняет FAISS в среднем в 3,4-3,5 раза при 4-битном сжатии и на 20-26% при 2-битном, в зависимости от железа.
Индекс не нужно предварительно обучать - векторы просто добавляются по мере поступления.
Сохранение инкрементальное, на диск уходит только то, что изменилось с прошлого раза, поэтому даже на большом индексе это занимает миллисекунды.
Поиску можно передать список разрешённых документов - скажем, чтобы пользователь видел только свои файлы.
Удаление работает по постоянным идентификаторам, ссылки на записи не плывут.
Тем, кто уже сидит на LangChain, LlamaIndex, Haystack или Agno, автор предлагает готовые адаптеры - меняется одна строка импорта, остальной код остаётся как был.
@ai_machinelearning_big_data
#AI #ML #VectorSearch #TurboQuant #Rust
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Нейродвиж
This media is not supported in your browser
VIEW IN TELEGRAM
Научные статьи теперь можно читать без боли — и для этого не придётся скачивать PDF или мучить нейронку промптами 😮
Открываем нужную работу на arXiv и меняем в адресе
Идеальный чит-код для студентов👌
Открываем нужную работу на arXiv и меняем в адресе
arxiv на quickarxiv — cервис превратит академическое полотно в аккуратную страницу с понятным объяснением, иллюстрациями и короткой выжимкой главного.Идеальный чит-код для студентов
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥1
Forwarded from Machinelearning
Главный результат: PC-ALM смог обучать нейросети глубиной до 1000 слоёв, используя только локальные взаимодействия между соседними слоями.
Обычное глубокое обучение почти полностью опирается на backpropagation: ошибка считается на выходе сети, после чего градиенты передаются назад через все слои.
PC-ALM работает иначе.
Каждый слой рассматривается как локальная динамическая система, которая пытается уменьшить собственную ошибку предсказания. Вместо глобального прохода градиента используются:
- локальные ошибки предсказания
- множители Лагранжа
- расширенный лагранжиан
- локальная динамика состояний
- PI-регуляция внутри каждого слоя
Метод вырос из predictive coding — подхода, популярного в NeuroAI. В predictive coding каждый слой постепенно корректирует своё состояние так, чтобы уменьшать рассогласование с соседними слоями.
Проблема в том, что в очень глубоких сетях такие сигналы плохо распространяются: информация об ошибке с выхода сети затухает раньше, чем достигает внутренних слоёв.
PC-ALM добавляет специальные двойственные переменные — по сути дополнительные нейроны, представляющие множители Лагранжа. Они помогают передавать сигнал ошибки через большое число слоёв.
Авторы связывают этот подход с классической работой Яна Лекуна 1988 года, где множители Лагранжа для многослойной сети можно связать с градиентами функции потерь.
В результате получается обучение, где глобальная задача оптимизации раскладывается на множество локальных динамических процессов.
Особенно хорошо PC-ALM показал себя на очень глубоких и узких сетях, где обычный predictive coding начинает ломаться.
Помимо NeuroAI, подход может быть интересен для нейроморфного железа: там локальные вычисления и физическая динамика потенциально дешевле классического backpropagation на GPU.
Блог: https://pub.sakana.ai/pc-alm/
Статья: https://arxiv.org/abs/2605.31022
Код: https://github.com/SakanaAI/pc-alm
Please open Telegram to view this post
VIEW IN TELEGRAM
👍1
Forwarded from Ekaterina Trofimova
Рады поделиться нашей новой работой! Вместе с Денисом Зуенко @zuenko и Ильвирой Хайдаровой мы опубликовали в IEEE Access статью Oil Spill Segmentation in SAR Data Using ViT-UNet: Performance and Practical Insights.
Работа посвящена системе для сегментации нефтяных пятен на радарных снимках (SAR). Задача критична для экологического мониторинга океана. Особенность подхода — гибридная архитектура ViT-UNet, где skip-connections идут не только с глубоких слоёв энкодера (как обычно делают), а сразу с четырёх уровней (2, 5, 8, 11), каждый из которых улавливает свой масштаб: от шумоподавления до глобального контекста состояния моря. Такая топология при абсолютно том же числе параметров и FLOPs даёт прирост mIoU почти на 5 п.п. по сравнению с «глубокой» версией той же модели.
Отдельным вкладом является ручные правки разметки популярного публичного бенчмарка SOS (больше трети масок в нём содержали систематические ошибки: с ложными срабатываниями, пропущенными пятнами и неточными границами).
Работа посвящена системе для сегментации нефтяных пятен на радарных снимках (SAR). Задача критична для экологического мониторинга океана. Особенность подхода — гибридная архитектура ViT-UNet, где skip-connections идут не только с глубоких слоёв энкодера (как обычно делают), а сразу с четырёх уровней (2, 5, 8, 11), каждый из которых улавливает свой масштаб: от шумоподавления до глобального контекста состояния моря. Такая топология при абсолютно том же числе параметров и FLOPs даёт прирост mIoU почти на 5 п.п. по сравнению с «глубокой» версией той же модели.
Отдельным вкладом является ручные правки разметки популярного публичного бенчмарка SOS (больше трети масок в нём содержали систематические ошибки: с ложными срабатываниями, пропущенными пятнами и неточными границами).
Forwarded from ODS Events
Привет!
Рады сообщить, что🦜 ODS совместно с Международным университетом информационных технологий запустили соревнование по написанию кода ИИ-агентами - SWE MERA Challenge.
Соревнование пройдет в три этапа:
✅ на первом этапе участникам с помощью любых агентов предстоит решить представленные задания на своей стороне;
✅ на последующих этапах то же самое нужно будет делать уже в изолированном окружении.
⭐️Для Топ-3 участников будет дана возможность представить свою работу на конференции по программной инженерии ICSE 2027!
Присоединяйтесь к соревнованию по 🔗ссылке!
Рады сообщить, что
Соревнование пройдет в три этапа:
⭐️Для Топ-3 участников будет дана возможность представить свою работу на конференции по программной инженерии ICSE 2027!
Присоединяйтесь к соревнованию по 🔗ссылке!
Please open Telegram to view this post
VIEW IN TELEGRAM