Технозаметки Малышева
13.2K subscribers
5.58K photos
2.12K videos
43 files
5.52K links
Новости инноваций из мира Искусственного Интеллекта. 🤖 [РКН: 7021469833 ]

Всё об ИИ, ИТ трендах и Технологической Сингулярности.

🤖: @ai_gptfreebot [бесплатный бот]
✍️: @tsingular_bot [каталог ботов и курсов]

💸: https://pay.cloudtips.ru/p/c8960bbb
Download Telegram
🚀 Google запустили услугу аренды GPU мощностей с посекундной тарификацией

Google Cloud официально запустил GPU-поддержку для Cloud Run.

Технические детали:
- Scale-to-zero для GPU — платите только за использованные секунды, никаких расходов при простое
- Холодный старт за 5 секунд — от нуля до готового GPU-инстанса с драйверами
- Time-to-First-Token ~19 секунд для gemma3:4b (включая загрузку модели)
- Потоковая передача через HTTP/WebSocket из коробки
- Без квот на NVIDIA L4 — просто добавляете --gpu 1 в команду

Доступно в 5 регионах (США, Европа, Азия) с возможностью деплоя одной командой:
gcloud run deploy my-global-service \
--image ollama/ollama --port 11434 \
--gpu 1 \
--regions us-central1,europe-west1,asia-southeast1


Практические кейсы:
Стартапам:
AI-инференс без DevOps-команды и управления инфраструктурой
Enterprise: batch-обработка (fine-tuning, медиа-транскодирование) через Cloud Run Jobs
Продактам: глобальное масштабирование LLM-сервисов с автоматической балансировкой нагрузки

Best Practices для оптимизации:
- Используйте 4-bit квантизованные модели
- Храните модели в контейнерах (оптимизация streaming) или Cloud Storage с Direct VPC
- Настраивайте конкурентный запуск по формуле: (модели × параллельные запросы) + (модели × batch size)
- Генерируйте LLM-кеши на этапе сборки образа

Демо масштабирования 0→100 GPU за 4 минуты показывает, что serverless GPU — вполне рабочая технология.

Cloud Run GPU превращает AI-инференс из "инфраструктурного ада" в "запустил и забыл".

Ждем на Cloud.ru и immers.cloud :)

#CloudRun #GPU #Serverless #Google
———
@tsingular
✍4🔥2🤯2❤1👍1
OpenClaw + Cloudflare Workers: На пороге ИИ-сингулярности и «бесконечной» армии агентов

Пока мы возились с деплоем на обычные VPS, подъехала тяжелая артиллерия. Cloudflare выпустили moltworker — готовую версию OpenClaw для запуска в Cloudflare Workers.

И вот почему это изменит правила игры уже с понедельника:

1. Масштабирование без границ. Cloudflare Workers — это не про один сервер. Это про глобальную инфраструктуру. Вы можете запустить сотни (или тысячи) параллельных агентов-воркеров, которые будут шуршать по своим задачам, не загружая ваш основной комп или VPS.

2. Броня от Zero Trust. Весь админ-интерфейс ассистента сразу закрывается через Cloudflare Access. Это значит, что доступ к мозгам вашего ИИ есть только у вас после SSO-авторизации (Google, GitHub и т.д.). Безопасность уровня Enterprise «из коробки».

3. Бесконечная память на R2. Все конфиги, логи и история переписок бэкапятся в Cloudflare R2 (хранилище типа S3). Контейнер может «уснуть» для экономии денег и «проснуться» с полной памятью за долю секунды.

4. Браузер на стероидах. В воркерах доступен Browser Rendering API. Агент теперь может не просто парсить текст, а полноценно рендерить страницы, делать скриншоты и видео, используя ресурсы облака, а не вашу оперативку.
Цена вопроса — $5/мес за Workers Paid план, и у вас в руках инструмент для создания целого штата автономных сотрудников, которые никогда не спят.

Если DigitalOcean — это был «комфортный переезд», то Cloudflare — это выход в открытый космос. Похоже, на следующей неделе нас ждет взрывной рост агентских сетей.

Посмотреть, как это работает «под капотом»:
https://github.com/cloudflare/moltworker

#OpenClaw #Cloudflare #агенты #Serverless
———
@tsingular
1⚡18🤯11❤3👾3🔥2