Подготовил обзорную презентацию по VLLM Semantic Router
новая полезная штука, как аналог LiteLLM, которая позволяет не просто прокси для моделей поднять, но и по-умному маршрутизировать запросы между ними исходя из контекста задач.
Что в презентации:
Введение. Зачем отдельный слой маршрутизации, место роутера между AI-шлюзом и роутером инференса. Архитектура и путь запроса через «сигналы → проекции → решения → алгоритмы».
Быстрый старт. Установка и первый запрос, Dashboard, минимальный конфиг, протоколы клиентов и бэкендов, пять готовых рецептов MoM V1.
Сигналы. Все 24 детектора, оценка сложности запроса, три сигнала безопасности, что происходит, если детектор не ответил.
Проекции и решения. Сведение сигналов в балл и полосы, дерево правил, почему из нескольких совпавших правил побеждает одно.
Алгоритмы и обучение. Выбор одной модели из кандидатов, сценарии с несколькими моделями (каскад, панель с судьёй, многошаговый сценарий), Router Learning.
Плагины. Кэш и проблема отрицания («включи» и «выключи» выглядят для эмбеддингов одинаково), сжатие контекста, RAG, обкатка новой модели на живом трафике.
Модели роутера. Vela 1.0, Decision 2.0, на каком железе они работают.
Эксплуатация. Docker, Helm, Operator, шлюзы, стриминг тела запроса, хранилища, безопасность, наблюдаемость.
Отладка и оценка. Проверка маршрута без модели и настоящим запросом, сравнение смеси с лучшей одиночной моделью через sr-bench, симулятор GPU-флота.
Полная презентация в ИИзбранном
#VLLM #Semantic #Router #MLOps
———
@tsingular
новая полезная штука, как аналог LiteLLM, которая позволяет не просто прокси для моделей поднять, но и по-умному маршрутизировать запросы между ними исходя из контекста задач.
Что в презентации:
Введение. Зачем отдельный слой маршрутизации, место роутера между AI-шлюзом и роутером инференса. Архитектура и путь запроса через «сигналы → проекции → решения → алгоритмы».
Быстрый старт. Установка и первый запрос, Dashboard, минимальный конфиг, протоколы клиентов и бэкендов, пять готовых рецептов MoM V1.
Сигналы. Все 24 детектора, оценка сложности запроса, три сигнала безопасности, что происходит, если детектор не ответил.
Проекции и решения. Сведение сигналов в балл и полосы, дерево правил, почему из нескольких совпавших правил побеждает одно.
Алгоритмы и обучение. Выбор одной модели из кандидатов, сценарии с несколькими моделями (каскад, панель с судьёй, многошаговый сценарий), Router Learning.
Плагины. Кэш и проблема отрицания («включи» и «выключи» выглядят для эмбеддингов одинаково), сжатие контекста, RAG, обкатка новой модели на живом трафике.
Модели роутера. Vela 1.0, Decision 2.0, на каком железе они работают.
Эксплуатация. Docker, Helm, Operator, шлюзы, стриминг тела запроса, хранилища, безопасность, наблюдаемость.
Отладка и оценка. Проверка маршрута без модели и настоящим запросом, сравнение смеси с лучшей одиночной моделью через sr-bench, симулятор GPU-флота.
Полная презентация в ИИзбранном
#VLLM #Semantic #Router #MLOps
———
@tsingular
🔥6⚡4✍3❤2
This media is not supported in your browser
VIEW IN TELEGRAM
KR Labs показали сверхточный RAG на малых моделях Vela 2.0
⛵️ KR Labs и команда vLLM Semantic Router показали, как семейство моделей Vela 2.0 размером до 4B выполняет поиск, отбор документов и извлечение ответа с очень высокой точностью.
🔎 В демонстрации модель строит поисковые векторы из своих внутренних представлений и выбирает 10 из 60 абзацев.
Затем оценивает каждый вопросом «этот фрагмент отвечает на запрос?» и оставляет три. Этапы используют одну и ту же модель с несколькими вызовами.
🧩 Например поле даты в шаблоне «Бруклинский мост открыли …» превращается в вопрос о нужных словах.
Модель оценивает слова по отдельности, а соседние подходящие слова объединяются в цитату.
Приложение повторно читает её из документа по позициям символов и возвращает JSON с источником, границами фрагмента и вероятностью.
Если ни один фрагмент не прошёл порог, поле остаётся пустым.
⚠️ Достоверность подтверждена источником.
При поиске документа и выборе цитаты возможны ошибки, поэтому правильность ответа подкрепляется перепроверкой.
В опубликованном примере про Эресуннский мост модель указала только Данию, хотя исходный абзац называет Данию и Швецию. Обещание «RAG без галлюцинаций» описывает ограничение на сочинение новых значений.
💼 Такой подход может быть полезен для заполнения карточек по договорам, инструкциям и отчётам, когда каждое поле должно иметь проверяемую цитату.
Так же интересен пример в демке с рапознаванием конфиденциальных денных - карточек, телефонов, ФИО.
Полезно как пример механизма быстрого маскирования.
Веса и код 4B опубликованы под Apache 2.0.
📎 Модель 4B · Архитектура и проверки
#Vela #RAG #VLLMSR #Semantic #Router
———
@tsingular
⛵️ KR Labs и команда vLLM Semantic Router показали, как семейство моделей Vela 2.0 размером до 4B выполняет поиск, отбор документов и извлечение ответа с очень высокой точностью.
🔎 В демонстрации модель строит поисковые векторы из своих внутренних представлений и выбирает 10 из 60 абзацев.
Затем оценивает каждый вопросом «этот фрагмент отвечает на запрос?» и оставляет три. Этапы используют одну и ту же модель с несколькими вызовами.
🧩 Например поле даты в шаблоне «Бруклинский мост открыли …» превращается в вопрос о нужных словах.
Модель оценивает слова по отдельности, а соседние подходящие слова объединяются в цитату.
Приложение повторно читает её из документа по позициям символов и возвращает JSON с источником, границами фрагмента и вероятностью.
Если ни один фрагмент не прошёл порог, поле остаётся пустым.
⚠️ Достоверность подтверждена источником.
При поиске документа и выборе цитаты возможны ошибки, поэтому правильность ответа подкрепляется перепроверкой.
В опубликованном примере про Эресуннский мост модель указала только Данию, хотя исходный абзац называет Данию и Швецию. Обещание «RAG без галлюцинаций» описывает ограничение на сочинение новых значений.
💼 Такой подход может быть полезен для заполнения карточек по договорам, инструкциям и отчётам, когда каждое поле должно иметь проверяемую цитату.
Так же интересен пример в демке с рапознаванием конфиденциальных денных - карточек, телефонов, ФИО.
Полезно как пример механизма быстрого маскирования.
Веса и код 4B опубликованы под Apache 2.0.
📎 Модель 4B · Архитектура и проверки
#Vela #RAG #VLLMSR #Semantic #Router
———
@tsingular
🏆6🔥5⚡2