⚠️ Prompt injection: Fireworks AI закрывает уязвимость на уровне токенизации

Команда Fireworks AI описала критическую уязвимость в LLM-сервинге: промпт-инъекция через манипуляцию токенами. Проблема в том, что стандартные токенизаторы часто склеивают chat template и пользовательский текст в одну строку. Это позволяет атакующему подсунуть управляющие токены - например, принудительно завершить диалог или перезаписать system prompt.

Fireworks внедрили флаг safe_tokenization: true в API. Он гарантирует, что строки внутри user content кодируются изолированно, без смешивания с шаблоном. Таким образом, даже если пользователь пишет «Ignore all instructions», токенизатор не даст этому тексту стать частью управляющей структуры.

Решение работает для всех моделей на платформе - от Llama до Mistral. Это не панацея, но важный шаг: инъекции остаются одной из главных головных болей при деплое LLM в продакшн.

#Ai #Security #LLM #Fireworks

⚙️ Fireworks выпустила FireRouter with Opus - кэш-осознанный роутер LLM

Fireworks AI представила FireRouter with Opus - первый на рынке роутер, учитывающий состояние промпт-кэша. Он оптимизирован под семейство Opus и теперь доступен не только в CLI, но и впервые как отдельная serverless-модель: любой аккаунт Fireworks может подключить её как обычный эндпоинт.

Роутер оценивает каждый ход пользователя, подбирая подходящую модель из набора, считает стоимость обработки с учётом кэша и решает, стоит ли терять cache hits при переключении на другую модель. Сейчас трафик распределяется между Claude Opus 5.5, GLM 5.3 и GLM 5.3 Flash, а набор будет меняться с выходом новых версий.

По итогам месячного внутреннего A/B-теста на задачах кодинга стоимость сессии упала на 57% - с $15.36 до $6.63, при точности 98.1% от уровня Opus (78.7% против 80.2% по оценённым ходам). Cache hit rate составил 94.2% против 97.8% у чистого Opus - осознанный компромисс ради экономии.

Подключение работает в Claude Code, Codex и Cursor IDE в две команды: fireconnect login и fireconnect claude --model firerouter/opus.

🎨 qvabo.studio/tg · картинки и видео

#Tech #Fireworks #LLM #AI #Development #ClaudeCode