Пятничное чтиво
🖖 В майскую пятницу поговорим о языковых моделях. В подборке Джим Аллен Уоллес из Redis дает рекомендации по использованию ИИ-инструментов, а также практики по ускорению и оптимизации работы.
⏺ Когда использовать ИИ-агентов?
В статье автор разбирает, как устроен рабочий цикл ИИ и в каких случаях стоит опираться на шаблоны (workflows), а где модели следует работать автономно. От этого выбора напрямую зависят надежность, стоимость, задержки и то, как часто вам придется разбираться с ночными инцидентами.
На примере кейсов чаще всего работает гибрид, баланс детерминированности с гибкостью. Примеры и практики здесь.
⏺ Что скрывается за P99 latency: разбор 1% худших запросов
Показатели среднего времени ответа в норме, а пользователи все равно жалуются на задержки. Для тех, кто работает с LLM системами, пайплайнами RAG или ИИ-агентами, P99 latency – ключевой показатель эффективности. Автор объясняет, откуда берутся редкие, но особенно неприятные «хвостовые» задержки, как их измерить и улучшить. Все подробности – тут.
⏺ Подводные камни токенизации в LLM
Уоллес описывает, как устроена токенизация, и почему она так важна для ИИ-разработки. В статье по шагам разбирается, как текст превращается в токены и почему длина запроса влияет на нагрузку и цену. Внутри указаны практические способы сократить расход токенов: от более точной настройки промптов до семантического кэширования. Читаем здесь.
Желаем приятного чтения и хороших выходных!
#девопс #llm #redis #пятничное_чтиво
В статье автор разбирает, как устроен рабочий цикл ИИ и в каких случаях стоит опираться на шаблоны (workflows), а где модели следует работать автономно. От этого выбора напрямую зависят надежность, стоимость, задержки и то, как часто вам придется разбираться с ночными инцидентами.
На примере кейсов чаще всего работает гибрид, баланс детерминированности с гибкостью. Примеры и практики здесь.
Показатели среднего времени ответа в норме, а пользователи все равно жалуются на задержки. Для тех, кто работает с LLM системами, пайплайнами RAG или ИИ-агентами, P99 latency – ключевой показатель эффективности. Автор объясняет, откуда берутся редкие, но особенно неприятные «хвостовые» задержки, как их измерить и улучшить. Все подробности – тут.
Уоллес описывает, как устроена токенизация, и почему она так важна для ИИ-разработки. В статье по шагам разбирается, как текст превращается в токены и почему длина запроса влияет на нагрузку и цену. Внутри указаны практические способы сократить расход токенов: от более точной настройки промптов до семантического кэширования. Читаем здесь.
Желаем приятного чтения и хороших выходных!
#девопс #llm #redis #пятничное_чтиво
Please open Telegram to view this post
VIEW IN TELEGRAM
1👍4❤3🔥2
Новостной дайджест от DevOps FM!
⌨️ Делимся свежими новостями, туториалами и разборами инженерных практик.
⏺ Microsoft выкатили патч с рекордным числом исправлений.
Вчера, 14 июля, компания представила релиз с 570 фиксами ОС Windows, обнаруженных искусственным интеллектом. Из них устранили 60 критических уязвимостей, включая CVE-2026-56155, ошибку сервисов активной директории, и CVE-2026-56164, уязвимость Microsoft SharePoint.
⏺ В блоге Kubernetes вышла пошаговая инструкция по созданию собственного экспортера метрик, когда встроенных показателей CPU и памяти недостаточно. В ней разобрали, для каких задач нужен экспортер и как выбрать между Counter, Gauge и Histogram в зависимости от разных сценариев. В конце автор упомянул, как подготовить метрики для использования в
⏺ На Хабре вышло сравнение LLM в производственной среде. На примере использования llama.cpp, Gemma и Qwen в разных сценариях инженеры Wb-Tech решили:
• Перейти с Ollama на llama.cpp, чтобы получить больше контроля над инференсом, настройками, воспроизводимостью и структурированным выводом через GBNF
• Не использовать одну универсальную модель
• Использовать собственные конвееры для стабильных процессов
• Считать веса моделей критической зависимостью и фиксировать версии, хранить копии, не полагаться на внешние репозитории
Больше о бенчмарках и особенностях кейса – в статье.
⏺ Причины низкой производительности GitLab CI разобрал инженер компании OTUS. В статье он приводит 6 основных ошибок в работе: в кэшировании, распределении нагрузки между раннерами, выбором Docker-образов, параллелизацией, сборкой контейнеров и автоскейлингом. А также показывает, в чем измерять эффективность без усложнения инфраструктуры.
⏺ Брайан Грант, СТО ConfigHub, перечислил инструменты по управлению общими настройками рабочих нагрузок в Kubernetes.
Речь идет об автоматизированных проверках и изменениях в контексте безопасности, пробах, запасе количества упавших подов. В статье Брайн описывает подход
#новостная_подборка #devops #kubernetes #llm #gitlab
Вчера, 14 июля, компания представила релиз с 570 фиксами ОС Windows, обнаруженных искусственным интеллектом. Из них устранили 60 критических уязвимостей, включая CVE-2026-56155, ошибку сервисов активной директории, и CVE-2026-56164, уязвимость Microsoft SharePoint.
HorizontalPodAutoscaler через Prometheus Adapter.• Перейти с Ollama на llama.cpp, чтобы получить больше контроля над инференсом, настройками, воспроизводимостью и структурированным выводом через GBNF
• Не использовать одну универсальную модель
• Использовать собственные конвееры для стабильных процессов
• Считать веса моделей критической зависимостью и фиксировать версии, хранить копии, не полагаться на внешние репозитории
Больше о бенчмарках и особенностях кейса – в статье.
Речь идет об автоматизированных проверках и изменениях в контексте безопасности, пробах, запасе количества упавших подов. В статье Брайн описывает подход
Configuration as Data и дает готовые инструменты для анализа состояния кластеров, выявления нарушений. Подробности – на Medium.#новостная_подборка #devops #kubernetes #llm #gitlab
Please open Telegram to view this post
VIEW IN TELEGRAM
1👍4🔥4❤2