🛡 Together AI получила сертификат ISO 27001:2022 — новый стандарт безопасности для корпоративного ИИ

Платформа облачного ИИ Together AI объявила о получении сертификации ISO 27001:2022 — международного стандарта управления информационной безопасностью. Это подтверждает, что системы компании соответствуют строгим требованиям к защите данных, контролю доступа и непрерывности бизнеса.

Сертификация охватывает ключевые сервисы Together AI: Serverless Inference, Dedicated Model Inference, GPU Clusters, Fine-Tuning и Evaluations. Для корпоративных клиентов, особенно в регулируемых отраслях (финансы, здравоохранение, госсектор), это означает, что инфраструктура Together AI прошла независимый аудит и может использоваться для обработки конфиденциальных данных без риска утечек.

Для разработчиков и инженеров, работающих с Claude Code, Codex или Cursor, это упрощает compliance-процессы: теперь не нужно проводить отдельную оценку безопасности платформы — сертификат ISO 27001 покрывает базовые требования большинства корпоративных политик. Together AI также обещает публикацию отчета SOC 2 Type II в ближайшие кварталы.

#Business #ISO27001 #Security #CorporateAI #TogetherAI #CloudComputing

▶ Together AI запускает Provisioned Throughput — предсказуемый инференс с гарантированной пропускной способностью

Together AI объявила о запуске Provisioned Throughput — нового продукта для инференса LLM, который предоставляет выделенные токеновые квоты с фиксированной пропускной способностью и соглашениями об уровне обслуживания (SLA). Решение ориентировано на production-нагрузки, где критичны стабильность задержек и отсутствие конкуренции за ресурсы.

В отличие от стандартного serverless-инференса, Provisioned Throughput резервирует вычислительные мощности под конкретную модель, обеспечивая предсказуемое время ответа даже при пиковых нагрузках. Пользователи приобретают гарантированный объём токенов в минуту (TPS), что позволяет точно планировать затраты и избегать throttling. Продукт поддерживает все популярные open-source модели, доступные на платформе Together AI, включая DeepSeek V4 Pro, Gemma 4, MiniMax M3 и kimi K2.7 Code.

Для разработчиков AI-агентов и coding-инструментов это означает возможность разворачивать критически важные инференс-пайплайны без риска деградации производительности из-за соседних задач. Provisioned Throughput особенно актуален для команд, работающих с Claude Code, Codex и Cursor, где стабильная задержка напрямую влияет на UX агента.

#Tech #Inference #TogetherAI #Agent #LLM #AI #SLA

⚙️ Together AI запускает новую модель Inkling от Thinking Machines Lab в день релиза

Thinking Machines Lab представила Inkling — мультимодальную Mixture-of-Experts модель с 975B параметров (40B активных на токен) и контекстным окном в 1M токенов. Together AI уже предоставляет доступ к модели на своей платформе инференса.

Inkling принимает текст, изображения и аудио, генерируя текстовые ответы через единую архитектуру декодера. Ключевая особенность — контролируемое усилие инференса: разработчики могут регулировать глубину рассуждений модели под конкретную задачу, балансируя между качеством, задержкой и затратами токенов. Модель обучена на научных рассуждениях, программировании, агентных сценариях, прогнозировании и калиброванных предсказаниях.

Архитектурные инновации включают query-conditioned relative attention, короткие каузальные свёртки (sconv) и shared expert sink в MoE. Together AI оптимизировал инференс через кастомное ядро FlashAttention-4, адаптированное под механизм относительного внимания модели. Разработчики получают доступ через serverless API с единым эндпоинтом для всех типов ввода и возможностью настройки усилия инференса на уровне запроса.

#AI #Inkling #TogetherAI #ThinkingMachinesLab #MultiModal #LLM

🥂 A/B-тестирование моделей в проде — теперь на уровне эндпоинта Together AI

Together AI добавила на платформу нативные A/B-эксперименты для LLM-эндпоинтов. Живой трафик можно разделять между контрольной моделью и до 20 вариантами с заданным процентным соотношением. Это позволяет проверять качество кандидата на реальных пользователях, а не на бенчмарках: retention, thumbs-up, выполнение задач и другие продуктовые метрики.

В отличие от shadow-трафика, где ответы кандидата никому не показываются, здесь часть запросов реально обслуживается новой моделью. При этом клиентский код не меняется: тот же эндпоинт, API и ключи. Эксперимент вложен в долю контрольной модели: роутер сначала разрешает базовый сплит, а затем перераспределяет запросы внутри эксперимента. Важное требование — варианты должны иметь нулевой вес в основном traffic split, иначе замеры будут некорректными. Проценты в A/B — это фиксированные доли трафика, независимые от числа реплик и автоскейлинга.

Рампинг делается заменой всего списка участников одним вызовом API: например, 95/5 → 80/20 → 50/50. Обновления защищены etag — параллельное изменение коллеги не перезапишется молча. Победителя можно продвинуть через blue-green rollout, а удаление эксперимента мгновенно возвращает 100% трафика контрольной модели без правок на стороне клиента.

#AI #LLM #ABtesting #TogetherAI #MLOps

🆚 GLM-5.3 против Claude Fable 5 на DeepSWE: цена, код и маршрутизация

Сравнение моделей на бенчмарке DeepSWE показало статистическую ничью по первому запуску, но 5,4-кратную разницу в цене. У Claude Fable 5 pass@1 — 69,7%, у GLM-5.3 — 69,0%, разрыв внутри погрешности. При этом один прогон GLM стоит $3,99 против $21,63 у Fable: на $100 GLM решает 17 задач, а Fable — только 3.

С ретраями открытая модель выходит вперед: pass@2 — 81,1% против 77,1%, pass@4 — 87,6% против 84,1%. GLM также покрывает больше задач (87,6% против 84,1%) и заметно менее многословен: 80k выходных токенов против 114k, хотя делает больше шагов. По времени прогона модели почти равны: 35 и 34 минуты.
Корреляция по задачам — 0,65, так что запускать обе модели параллельно почти бессмысленно. Авторы теста советуют держать дешевую GLM-5.3 как основную, а к Fable обращаться только для Rust и сериализации. GLM сильнее в запросах/конфигах, рантаймах и конкурентности, Fable — в data modeling, build и protocol conformance.

#AI #GLM53 #ClaudeFable5 #DeepSWE #TogetherAI #Coding #Comparison

🤔 Together AI запустила preemptible compute: те же GPU за половину цены

Together AI добавила в Together GPU Clusters поддержку preemptible compute — та же GPU-мощность по фиксированной ставке 50% от on-demand цены. Режим рассчитан на команды, которым важна стоимость, а не гарантированное время жизни узла.

Ключевая деталь — пятиминутное окно drain: при вытеснении задачи получают 5 минут на корректное завершение и сохранение состояния. Это делает режим пригодным для отказоустойчивых нагрузок: батчевого инференса, обучения с регулярными чекпоинтами, экспериментов и pipeline-задач, где потеря отдельного узла не критична.

Практически это способ вдвое снизить расходы на масштабных прогонах, если архитектура умеет перезапускаться. Для интерактивных и latency-критичных сервисов preemptible-узлы, напротив, рискованны — там лучше оставаться на on-demand.

#Tech #TogetherAI #GPU #ML #Development #Infrastructure

🔄 Together AI запустила canary-роллауты для обновления моделей без простоя

Together AI добавила в платформу dedicated inference механизм роллаутов: живой трафик переносится с текущей модели на новый чекпоинт поэтапно, с health-проверками и автоматическим откатом.

Доступны три стратегии. Canary - шаги по долям трафика (по умолчанию 5% → 25% → 50% → 100%), blue-green - один переход 0% → 100%, rolling - последовательная замена реплик с сохранением ёмкости. Внутри каждого шага canary сначала масштабируется target, затем срабатывает health-гейт, идёт ожидание сходимости маршрутизации, дренаж source и только потом проверка метрик. Если гейт не проходит, роллаут переходит в SYSTEM_PAUSED и ждёт решения человека - отмена всегда за оператором.

В демо Qwen2.5-7B → Qwen3.5-9B гейт поймал рост p95-латентности на 137% уже при 10% трафика: роллаут отменили и запустили в обратную сторону - при живых запросах ни один не упал. Управление доступно через CLI (tg в пакете together 2.34.0+), REST API и Python SDK.

#AI #Models #TogetherAI #MLOps #Inference #Deploy #LLM