⚙️ Together AI запускает новую модель Inkling от Thinking Machines Lab в день релиза

Thinking Machines Lab представила Inkling — мультимодальную Mixture-of-Experts модель с 975B параметров (40B активных на токен) и контекстным окном в 1M токенов. Together AI уже предоставляет доступ к модели на своей платформе инференса.

Inkling принимает текст, изображения и аудио, генерируя текстовые ответы через единую архитектуру декодера. Ключевая особенность — контролируемое усилие инференса: разработчики могут регулировать глубину рассуждений модели под конкретную задачу, балансируя между качеством, задержкой и затратами токенов. Модель обучена на научных рассуждениях, программировании, агентных сценариях, прогнозировании и калиброванных предсказаниях.

Архитектурные инновации включают query-conditioned relative attention, короткие каузальные свёртки (sconv) и shared expert sink в MoE. Together AI оптимизировал инференс через кастомное ядро FlashAttention-4, адаптированное под механизм относительного внимания модели. Разработчики получают доступ через serverless API с единым эндпоинтом для всех типов ввода и возможностью настройки усилия инференса на уровне запроса.

#AI #Inkling #TogetherAI #ThinkingMachinesLab #MultiModal #LLM