Marat @ Predictable.Team
412 subscribers
134 photos
8 videos
4 files
112 links
Привет! Я Марат, Agile Coach в финтехе на 50 команд в ядре банка.
В этом канале пишу про процессную культуру и метрики в айти и не только, фасилитацию, бизнес, изменения и системный подход.
Если вы в Уфе, приходите ко мне в ufaitcoworking.ru :)
Download Telegram
Context Engineering (2/3): Выжимка техник для работы с контекстом в LLM-системах 🛠

Итак, мы с вами натыкали бизнес процесс и поняли какой у нас есть разные источники информации, которые можно кормить агенту и что-то полезное от него в ответ получать. Для этого надо уложиться примерно в 170к токенов - чтобы агент мог нормально работать с контекстом.

В этом нам помогут 4 ключевые техники работы с контекстом для агента- и инструменты на вооружении этих техник (их десятки, тут только топ) - чтобы правильно готовить этот контекст:

📝 ЗАПИСЬ (Write)
Сохранение и управление состоянием для долгих и сложных задач.

- Scratchpad: Временная зона для промежуточных рассуждений, заметок и шагов chain-of-thought, чтобы структурировать мышление агента без перегрузки основного контекста. (Инструменты: Встроенные в LangGraph/LangChain, кастомные промпты в LLM, Redis для персистентных заметок).

- Semantic Caching: Кэширование ответов на семантически близкие запросы для ускорения и удешевления. (Инструменты: Redis, кастомные решения на файлах).

- State Checkpoints: Снимки состояния для возобновляемых, отказоустойчивых сессий. (Инструменты: PostgreSQL, Zep, встроенная персистентность в LangGraph).

- Long-term Memory: Долгосрочное хранение фактов и предпочтений для персонализации. (Инструменты: Pinecone, Neo4j).

📖 ЧТЕНИЕ (Select)
Точное извлечение релевантной информации — основа качественных ответов.

- RAG (Retrieval-Augmented Generation): Тут надо смотреть на схему, но в самом простом варианте это Векторный поиск по большим базам знаний (предварительно chunking + embedding). Остается стандартом де-факто, несмотря на рост контекстных окон, из-за экономичности и точности. (Инструменты: Milvus, Weaviate, Pinecone).​
@AigizK - большой специалист (колонка Homai + MLOps) тут ещё прояснил про RAG в комменте.

- Hybrid RAG: Комбинация векторного (семантического) и лексического (по ключевым словам) поиска для максимальной релевантности. (Инструменты: Elasticsearch, Weaviate).

- Function Calling: Динамическое получение данных из внешних API в реальном времени. (Инструменты: OpenAI Function Calling, аналоги в других моделях).​

- GraphRAG: Поиск по связям в графовых базах данных. Ключевой тренд 2025 года для задач, где важны сложные взаимосвязи, а не только семантическая близость. (Инструменты: Neo4j + embeddings).​

🗜 СЖАТИЕ (Compress)
Оптимизация контекста для экономии токенов и ускорения работы.

- Summarization: Суммаризация диалогов или документов через LLM для передачи ключевой сути.

- Contextual Compression: Автоматическая фильтрация нерелевантных частей извлеченных документов перед отправкой в LLM.​

- Entity-Centric: Сжатие контекста до ключевых сущностей и их связей, часто с использованием NER (Named Entity Recognition).​

🔒 ИЗОЛЯЦИЯ (Isolate)
Разделение задач между специализированными компонентами — главный вектор развития сложных систем.

- Multi-Agent Systems: Декомпозиция сложной задачи на роли (агенты), где каждый выполняет свою часть работы. Это позволяет решать нелинейные и комплексные проблемы. (Фреймворки: LangGraph, CrewAI).​

- Sandbox: Изолированная среда для безопасного выполнения кода или работы с чувствительными данными. (Инструменты: Docker, E2B).

- State Management: Управление состоянием и переходами в сложных, многошаговых сценариях. (Инструменты: XState).

#ContextEngineering #AITools #RAG #AIAgents #LangGraph #GraphRAG #LLM
❤1🔥1😱1
В конце мая мы с @listl и @aigizk провели в Уфе первый митап 🇷🇺 Bash Agentic Engineering.
Вадим — Team Lead, основатель Ufa .NET. Айгиз — MLOps и автор башкирской умной колонки Homai.

Идея проросла весьма органично: в нашем коворкинге давно собирается сильная ИТ-тусовка, а с приходом AI мы все чаще обсуждали кодинг-агентов, LLM и мультиагентную разработку. В какой-то момент стало понятно — пора выносить это в открытый формат.

На митапе дали минимум теории, а потом сразу ушли в практику. Разбирали реальные кейсы обработки жалоб ЖКХ: сначала ручной режим, потом - работа через чат с LLM и затем агентный сценарий с Playwright CLI. Параллельно показали benchmark-driven подход, harness вокруг LLM и автономных агентов для проверки качества ответов.

Самое классное — после митапа люди не разошлись: остались обсуждать, спорить и делиться своими кейсами. Пришли разработчики, аналитики, тестировщики, исследователи, предприниматели и инвесторы.

Будем делать еще. Уфе точно нужно больше AI-движухи, больше практики и больше людей, которые не просто читают про агентов, а реально пробуют это руками.

И да: несмотря на просьбу заранее настроить Codex, все равно пришлось делиться подпиской на z.ai 🙂

#AI #AgenticEngineering #LLM #Ufa #BashAgenticEngineering
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
1❤6🔥4