Ramp Router

роутер для ML-пайплайнов. Автоматически раскидывает задачи оптимально по моделям, снимает нагрузку с основного воркера

• Работает с OpenAI-совместимым API
• динамическое распределение запросов между моделями
• автопереключение при падении инференса
• Поддерживает GPT, Claude, Gemini, Grok, Qwen, DeepSeek, Kimi, GLM
• Поддерживает кастомные правила роутинга, легко встраивается в ComfyUI и другие UI

Поклянчить ранний доступ - если успеете, можете получить халявных токенов на $100

#router #online

OmniRoute

Опенсорс-роутер ИИ-провайдеров, OpenAI-совместимый endpoint. Ставится локально, работает с кодинг-тулами вроде Claude Code, Cursor, Copilot

нужны свои ключи или OAuth. Free tiers с лимитами, Будьте внимательны, неаккуратное использование фич может привести к бану

• Роутинг запросов между аккаунтами и free tiers
• Авто-fallback при лимитах
• Поддержка MCP и A2A протоколов
• Интеграция с кодинг-ассистентами
• 268+ провайдеров в каталоге
• 90+ сервисов с free tier
• 19 стратегий маршрутизации

#router #api

Cursor Router

Умный роутер от Cursor. Автоматически подбирает модель под задачу. рутину кидает на дешёвые, сложные штуки на топовые.

• три режима: Intelligence (максимум мощи), Balance (баланс), Cost (минимум токенов)
• админы задают правила для команды, блокируют или разрешают модели
• учитывает кэш. не тратит лишнее на повторные контексты
• работает везде: десктоп, веб, iOS, CLI, SDK

#router

Stripe покупает OpenRouter за $7+ млрд

Официально стороны молчат, цена может ещё измениться.

OpenRouter основан в 2023-м, в мае подняли инвестиций $113 млн при оценке $1.3 млрд. Через три месяца покупают за 7. Хотя изначально, по WSJ, речь шла о $10 млрд - утечка в прессу до закрытия сделки сбила ценник.

OpenRouter - маркетплейс, который роутит трафик между сотнями ИИ-моделей: 500+ моделей от 80+ компаний, включая OpenAI, Anthropic и DeepSeek

Основатель OpenRouter раньше сам называл стартап "ИИ-эквивалентом Stripe"

Вот такие тревожные #news

#router

PAIR (Personal AI Router)

Инструмент от NVIDIA объединяет компьютеры в локальной сети в один ИИ-кластер. Находит ПК с RTX, DGX Spark и Mac, решает, куда отправить запрос - на машину где сейчас свободны ресурсы

- Распределяет нагрузку между ПК и Mac в локальной сети — одна карта не справляется, подключаются соседние
- Несколько агентов параллельно: инференс раскидывается между видеокартами и компьютерами без ручного конфигурирования
- Промпты, файлы и контекст не уходят во внешний мир
- Поддерживает Ollama и LM Studio
- Windows, Linux, macOS

#router #tools

VK | MAX

Comfy Router

Один API для моделей - картинки, видео, 3D и аудио. Интегрируешься один раз, провайдера выбираешь под каждую задачу: где дешевле, где скорость, где лимитов нет

• явный роутинг - назвал провайдера, он и работает, без тихого фолбэка
• каждый джоб возвращает, кто его выполнил - для логов и биллинга
• async submit() - сразу получаешь ID, очередь сама ретраит 429
• батчи на сотни задач, результаты тянешь по готовности
• смена провайдера - одна строка, без нового SDK

• Comfy, Runware, WaveSpeed, Fal, Higgsfield на старте
• Seedance 2.5, MiniMax H3, Nano Banana Pro, GPT Image 2, Kling, BFL
• без подписки - обычные комфи-кредиты
• 24 часа хранения входов и выходов

По форме - OpenRouter для генеративных медиа. Модель на нескольких провайдерах переключается параметром

Собственно роутер

#router #comfyui

MAX

Comfy API

Облачный сервис Comfy: свой воркфлоу с кастомными нодами, лорами и зависимостями деплоится как портативный билд на Comfy Developer Platform. Запуск на RTX6000, H100, H200 или B200

• Билд с неизменяемой версией и ссылкой на эндпоинт
• Обновление билда новым релизом без затрагивания работающего
• Запуск через браузер, консоль или AI-агента
• Использование через comfy-cli и Comfy Skills
• Защита от холодного старта для конечных пользователей

• Оплата за время GPU посекундно, хранилище по часам
• 20 ГБ моделей и лор — $4/мес
• RTX 6000 96 ГБ VRAM — $4,54/час
• Serverless вариант — платишь только когда идёт запрос

Параллельно вышел Comfy Router для разработчиков. Минус: дороже Runpod ($2,09/час на RTX 6000)

comfy.org/platform/comfy-api

#comfyui #api #router

MAX

FreeLLMAPI

Роутер, который складывает бесплатные тарифы десятков провайдеров в один OpenAI-совместимый эндпоинт /v1. Идея простая: по отдельности каждый фри-тир мелочь, вместе — около 7.4 млрд токенов в месяц.

• 34 провайдера и 635 бесплатных эндпоинтов, 474 семейства моделей
• Умный роутинг: на каждый запрос выбирается доступная модель
• Автоматический фейловер при лимитах, учёт расхода по каждому ключу
• Ключи хранятся в зашифрованном виде
• Поддержка не только чата, но и эмбеддингов, картинок и аудио
• Подключается к любым OpenAI-совместимым клиентам и кодинг-агентам

• Установка: десктоп для #macOS и #Windows #Docker, мобильные приложения
• Каталог моделей обновляется по подписанному фиду без git pull
• Сам роутер бесплатный, новые модели подтягивает ч5ерез 30 дней. Впрочем за $19 в год можно и сразу

Не рекомендовано для продакшена

github.com/tashfeenahmed/freellmapi

#router

MAX