⚙️ Modal запускает серверы с ультранизкой задержкой для LLM-инференса

Modal Labs представила Servers — новый тип HTTP-развертывания для приложений, где критична каждая миллисекунда: LLM-инференс, WebSocket и gRPC-трафик. В отличие от Modal Web Functions с очередями и ретраями, Servers работают через легковесный reverse proxy без control-plane запросов на горячем пути.

Архитектура включает streaming edge proxy, stateless proxy на базе Pingora и Envoy, а также compute load balancer, управляемый через Spanner. Ключевое решение — zero network calls на пути запроса: никаких обращений к KV-хранилищу или metadata-сервисам. Если реплика недоступна, клиент получает 503 — всю логику reliability приложение берет на себя.

Для разработчиков интерактивных агентов и inference-сервисов это означает снижение задержки на десятки миллисекунд по сравнению с Web Functions. Регионализованный автскейлинг и tenant isolation сохраняются, но без оверхэда платформенной очереди.

#AI #Modal #Serverless #LLM #Inference #Agents #CloudComputing

💵Modal привлекла $750 млн Series D при оценке $15,75 млрд

Платформа serverless-инфраструктуры для AI Modal объявила о выходе на $1 млрд annualized run rate и закрытии раунда Series D на $750 млн. Post-money оценка - $15,75 млрд, лид-инвестор Accel, к нему присоединились Kleiner Perkins и все прежние инвесторы, включая Menlo Ventures, General Catalyst и Redpoint.

Выручка выросла более чем в 15 раз год к году, а потребление - втрое всего за пять месяцев после Series C. Компания отказалась от стандартного стека и построила собственные файловую систему, container runtime, планировщик и сеть поверх пула мощностей из 20+ облаков - ради работы с дефицитными GPU и большими моделями.

Отдельно растет продукт Sandboxes: это уже $300M run rate, около 3 млрд запущенных песочниц и масштабирование до миллиона одновременных. На Modal работают Jev от TypeSafe AI (1 трлн токенов за первые три дня), фоновые агенты Cognition, Ramp, Linear и Hebbia, генерация видео Runway, обучение роботов Physical Intelligence и 1X, drug discovery Chai Discovery. Недавно запущены multi-node training, serverless-серверы, Endpoint Candidates и VM-песочницы.

🎨 qvabo.studio/tg · картинки и видео

#AI #Infrastructure #serverless #Development