⚙️ Modal запускает серверы с ультранизкой задержкой для LLM-инференса

Modal Labs представила Servers — новый тип HTTP-развертывания для приложений, где критична каждая миллисекунда: LLM-инференс, WebSocket и gRPC-трафик. В отличие от Modal Web Functions с очередями и ретраями, Servers работают через легковесный reverse proxy без control-plane запросов на горячем пути.

Архитектура включает streaming edge proxy, stateless proxy на базе Pingora и Envoy, а также compute load balancer, управляемый через Spanner. Ключевое решение — zero network calls на пути запроса: никаких обращений к KV-хранилищу или metadata-сервисам. Если реплика недоступна, клиент получает 503 — всю логику reliability приложение берет на себя.

Для разработчиков интерактивных агентов и inference-сервисов это означает снижение задержки на десятки миллисекунд по сравнению с Web Functions. Регионализованный автскейлинг и tenant isolation сохраняются, но без оверхэда платформенной очереди.

#AI #Modal #Serverless #LLM #Inference #Agents #CloudComputing

⚙️ Modal Labs запустила миллион песочниц за минуту

Команда Modal Labs переписала свою платформу для запуска sandbox-окружений с нуля, чтобы справиться с нагрузкой от современных AI-агентов. В тесте система создала 1 млн изолированных окружений менее чем за 60 секунд — это новый рекорд для индустрии.

Проблема в том, что традиционные решения (включая Kubernetes) не рассчитаны на такие масштабы. У Kubernetes алгоритм планирования имеет сложность O(n×p), а etcd не шардируется в пределах одного ключевого пространства. Modal решила отказаться от сильной согласованности как основы архитектуры — теперь все централизованные узкие места устранены, а контейнеры создаются напрямую на воркер-нодах через слой балансировщиков.

Новая архитектура уже используется в продакшене: Modal поддерживает до 50 тыс. одновременных песочниц на одного клиента и миллионы запусков в день. Это критично для reinforcement learning (где нужны миллионы параллельных сред) и для фоновых агентов, которые должны мгновенно масштабироваться при всплесках трафика.

#AI #Modal #Sandboxes #Agents #Infrastructure #Scaling

🪙 Quail от Modal: миллиард токенов в минуту на одной H100 для AI-SQL

Modal Labs вместе с Full Stack Data Lab из Carnegie Mellon представили Quail - слой инференса, учитывающий структуру запроса, для AI-SQL-нагрузок. Это не NL2SQL, а расширение SQL: операторы AI_FILTER и AI_JOIN прогоняют данные через LLM и возвращают таблицы. Такие запросы порождают миллионы коротких последовательностей, которым часто не нужен frontier-уровень интеллекта.

В Quail планировщик запросов управляет инференс-движком. Поскольку структура запроса известна заранее, KV-кэш можно упорядочивать, упреждающе читать и безопасно вытеснять. Для бинарной классификации AI.IF достаточно одного токена, что позволяет почти отказаться от decode-фазы. На multi-join запросе Quail выдал более 1 млрд токенов в минуту на одной H100 - более чем 10x к baseline vLLM; на новом бенчмарке AI-SQL средний прирост составил 1.84x. На Modal стоимость - менее 6 центов за миллиард токенов.

Код открыт на GitHub: fsdatalab/quail. Решение полезно командам, которые выполняют AI-SQL в BI и аналитических базах - например, Snowflake Cortex, Databricks AI Functions и BigQuery AI functions.

#AI #Tech #SQL #Inference #Modal #OpenSource