⚙️ Modal запускает серверы с ультранизкой задержкой для LLM-инференса

Modal Labs представила Servers — новый тип HTTP-развертывания для приложений, где критична каждая миллисекунда: LLM-инференс, WebSocket и gRPC-трафик. В отличие от Modal Web Functions с очередями и ретраями, Servers работают через легковесный reverse proxy без control-plane запросов на горячем пути.

Архитектура включает streaming edge proxy, stateless proxy на базе Pingora и Envoy, а также compute load balancer, управляемый через Spanner. Ключевое решение — zero network calls на пути запроса: никаких обращений к KV-хранилищу или metadata-сервисам. Если реплика недоступна, клиент получает 503 — всю логику reliability приложение берет на себя.

Для разработчиков интерактивных агентов и inference-сервисов это означает снижение задержки на десятки миллисекунд по сравнению с Web Functions. Регионализованный автскейлинг и tenant isolation сохраняются, но без оверхэда платформенной очереди.

#AI #Modal #Serverless #LLM #Inference #Agents #CloudComputing

⚡️ Бывший глава AI в Databricks обещает снизить энергопотребление ИИ в 1000 раз

Стартап Unconventional AI, основанный экс-руководителем AI-направления Databricks Навином Рао, представил свою первую модель — генератор изображений Un-0. Главная инновация кроется не в алгоритмах, а в архитектуре: компания использует принципиально новый тип вычислительных чипов на основе осцилляторов, а не традиционных транзисторов.

Согласно заявлению Рао, осцилляторная архитектура позволяет выполнять инференс (вывод) моделей с энергопотреблением, сниженным в 1000 раз по сравнению с текущими решениями. Пока Un-0 работает на программной симуляции будущих чипов, но компания уже анонсировала выпуск схем для физического чипа и планирует построить полный стек для инференса «с нуля». В тестах модель показывает качество, сопоставимое со Stable Diffusion и GPT Image 1.

«Это «hello world» нового типа компьютера, — заявил Рао. — Энергия станет фундаментальным ограничением для масштабирования AI в ближайшие годы. Мы предлагаем единственный способ обойти это ограничение». В штате стартапа — менее 50 человек, но амбиции сопоставимы с масштабом проблемы: по оценкам Рао, доступная мощность электросетей станет главным узким местом для всей индустрии.

#AI #Tech #EnergyEffective #Business #UnconventionalAI #Startup #Inference