HuggingFace объединяет ведущих провайдеров облачного инференса

Облачный инференс от разных провайдеров теперь можно запускать через единый интерфейс Hub.
Доступны сервисы AWS, Nvidia, SambaNova и Replicate с гибкой тарификацией.
Подключение реализовано через REST API, поддерживающий OpenAI-совместимые клиенты.
Функционал включает генерацию изображений и работу с языковыми моделями.
Зарегистрированным пользователям доступна базовая бесплатная квота.
Оплата производится напрямую провайдерам без дополнительных комиссий.

Теперь не нужно держать аккаунты у всех провайдеров - достаточно одного в HuggingFace 😎

#HuggingFace #gate #inference
-------
@tsingular

Яндекс и Сбер скоро выкатят хабы-гейты для LLMок.
Инфа со стрима TalentHub

#Сбербанк #Яндекс #gate
———
@tsingular

🚀 МТС врывается в мир корпоративного ИИ: анонсирована платформа MWS GPT

Главные фишки MWS GPT:

- Гибкость в выборе моделей: можно использовать как собственные решения МТС (Cotype и МТС Alpha), так и внедрять open source или сторонние LLM

- Демократичная цена: 1,1 рубля за 1000 токенов. На практике это означает, что SEO-статья обойдется примерно в 5 рублей, а презентация для клиентов — в 10 рублей

- Enterprise-уровень: выделенный пул GPU-ресурсов для быстрой обработки больших объемов данных

- Гибкое размещение: можно развернуть как в облаке МТС, так и на собственных серверах

- Фокус на корпоративные знания — платформа умеет создавать умные поисковики по внутренним базам данных компании. Это решает классическую проблему, когда важная информация разбросана по десяткам систем и документов.

Похоже, МТС всерьез нацелилась на то, чтобы сделать работу с ИИ доступной для российского бизнеса любого масштаба. Модель оплаты по факту использования (pay-as-you-go) может быть привлекательна для малого бизнеса, который может экспериментировать с ИИ без серьезных начальных вложений.

Будет интересно посмотреть, как платформа покажет себя в реальных проектах и сможет ли она составить конкуренцию другим российским и зарубежным решениям в этой области. 🤔

#МТС #hub #gate
———
@tsingular

MLflow 3.11.0rc1,- персональный AI Gateway

После серии скандалов с LiteLLM, которые за последний год 2 раза умудрились поймать уязвимости, которые поставили под угрозу всю ИИ экосистему, разработчики MLFlow выпилили их из своего фреймворка и написали свой встроенный гейт.

Теперь MLflow помогает не только в оценке и мониторинге моделей, промптов, навыков агентов, но и в биллинге, отслеживании расходов токенов по моделям и по собственно гейтованию доступов по разным провайдерам.

Т.е. по сути еще и оценку скорости работы провайдеров можно на нем держать.

Полезный комбайн, обновляемся.

#MLFlow #gate
———
@tsingular