This media is not supported in your browser
VIEW IN TELEGRAM
Microsoft выпустила язык разметки для работы с LLM
Microsoft презентовала POML (Prompt Orchestration Markup Language) — язык разметки для структурирования промптов к языковым моделям. По сути, это попытка привнести порядок в хаос современного промпт-инжиниринга через HTML-подобный синтаксис.
Что предлагают
Вместо традиционного текстового промпта вида «Ты эксперт по X, сделай Y, учитывая Z», Microsoft предлагает писать так:
Основная идея — разделить промпт на семантические компоненты (`<role>`,
Технические детали
Шаблонизатор и переменные. POML включает встроенный движок шаблонов с поддержкой переменных
Разделение контента и презентации. Через
Инструментарий разработки. Выпущены SDK для Node.js и Python, а также расширение для VS Code с подсветкой синтаксиса, автодополнением и возможностью предпросмотра промптов. Для работы нужно настроить API-ключи к выбранной модели.
Практическая польза под вопросом
Идея структурировать промпты выглядит логично — особенно для сложных систем с множеством компонентов. Но есть несколько моментов, которые вызывают скепсис:
Избыточная сложность. Для простых промптов POML добавляет лишний слой абстракции. То, что можно написать в три строки текста, превращается в XML-документ с кучей тегов.
Привязка к экосистеме. Хотя проект и открытый, создание собственного формата разметки часто ведёт к vendor lock-in. Сегодня это open source от Microsoft, завтра — часть Azure AI Studio за подпиской.
Решение несуществующей проблемы? Большинство разработчиков справляются с промпт-инжинирингом через обычные шаблонизаторы (Jinja2, Handlebars) или просто f-строки в Python. POML предлагает специализированное решение там, где универсальные инструменты работают вполне нормально.
Где может пригодиться
Несмотря на скептицизм, у POML есть потенциальные ниши:
— Энтерпрайз-системы с десятками различных промптов, где важна стандартизация и поддерживаемость кода.
— Мультимодальные приложения, работающие с изображениями, таблицами и документами одновременно.
— Команды без опыта в программировании, которым проще работать с декларативной разметкой, чем с кодом.
Итог
POML — это попытка Microsoft формализовать и стандартизировать работу с промптами. Инструмент может найти свою аудиторию в корпоративном сегменте, где любят структуру и процессы. Для большинства же разработчиков это выглядит как overengineering — решение, которое усложняет простые вещи без очевидной выгоды.
Посмотрим, приживётся ли подход. История IT полна примеров как успешных стандартов (JSON, Markdown), так и забытых попыток всё усложнить (помните SOAP?). POML пока больше похож на второй вариант.
Репозиторий проекта | Демо на YouTube | VS Code расширение
❗️ ❗️ ❗️ ❗️ ❗️ ❗️ ❗️ ❗️ / Не запрещена в РФ
Microsoft презентовала POML (Prompt Orchestration Markup Language) — язык разметки для структурирования промптов к языковым моделям. По сути, это попытка привнести порядок в хаос современного промпт-инжиниринга через HTML-подобный синтаксис.
Что предлагают
Вместо традиционного текстового промпта вида «Ты эксперт по X, сделай Y, учитывая Z», Microsoft предлагает писать так:
<poml>
<role>You are a patient teacher</role>
<task>Explain photosynthesis</task>
<img src="diagram.png" />
<output-format>Keep it under 100 words</output-format>
</poml>
Основная идея — разделить промпт на семантические компоненты (`<role>`,
<task>, <example>`), добавить возможность работы с внешними данными (`<document>, <table>, `<img>`) и ввести систему стилей в духе CSS для управления форматированием.Технические детали
Шаблонизатор и переменные. POML включает встроенный движок шаблонов с поддержкой переменных
{{ }}, циклов for, условий if и определения переменных через <let>. Это позволяет динамически генерировать промпты на основе входных данных.Разделение контента и презентации. Через
<stylesheet> можно управлять тем, как промпт будет представлен модели — уровнем детализации, форматом синтаксиса и другими параметрами. Microsoft утверждает, что это помогает справиться с чувствительностью LLM к формату входных данных.Инструментарий разработки. Выпущены SDK для Node.js и Python, а также расширение для VS Code с подсветкой синтаксиса, автодополнением и возможностью предпросмотра промптов. Для работы нужно настроить API-ключи к выбранной модели.
Практическая польза под вопросом
Идея структурировать промпты выглядит логично — особенно для сложных систем с множеством компонентов. Но есть несколько моментов, которые вызывают скепсис:
Избыточная сложность. Для простых промптов POML добавляет лишний слой абстракции. То, что можно написать в три строки текста, превращается в XML-документ с кучей тегов.
Привязка к экосистеме. Хотя проект и открытый, создание собственного формата разметки часто ведёт к vendor lock-in. Сегодня это open source от Microsoft, завтра — часть Azure AI Studio за подпиской.
Решение несуществующей проблемы? Большинство разработчиков справляются с промпт-инжинирингом через обычные шаблонизаторы (Jinja2, Handlebars) или просто f-строки в Python. POML предлагает специализированное решение там, где универсальные инструменты работают вполне нормально.
Где может пригодиться
Несмотря на скептицизм, у POML есть потенциальные ниши:
— Энтерпрайз-системы с десятками различных промптов, где важна стандартизация и поддерживаемость кода.
— Мультимодальные приложения, работающие с изображениями, таблицами и документами одновременно.
— Команды без опыта в программировании, которым проще работать с декларативной разметкой, чем с кодом.
Итог
POML — это попытка Microsoft формализовать и стандартизировать работу с промптами. Инструмент может найти свою аудиторию в корпоративном сегменте, где любят структуру и процессы. Для большинства же разработчиков это выглядит как overengineering — решение, которое усложняет простые вещи без очевидной выгоды.
Посмотрим, приживётся ли подход. История IT полна примеров как успешных стандартов (JSON, Markdown), так и забытых попыток всё усложнить (помните SOAP?). POML пока больше похож на второй вариант.
Репозиторий проекта | Демо на YouTube | VS Code расширение
Please open Telegram to view this post
VIEW IN TELEGRAM
1🔥7💯4 3
Email-дайджесты на автомате: мой флоу для n8n
Недавно апрувнули мой workflow в библиотеке n8n для автоматической обработки email-рассылок. Штука получилась полезная — каждый день система собирает определенные рассылки из Gmail, прогоняет через GPT-4.1-mini для суммаризации и отправляет аккуратный HTML-дайджест на почту.
🤔 Проблема и решение
У меня, как и у многих, накопилось десятки подписок на технические рассылки. Techcrunch, AINews, MIT Tecnhology Review, Google Alerts — все они приходят в разное время, забивают инбокс и часто остаются непрочитанными. Классическая проблема информационной перегрузки.
Решение: вместо чтения каждого письма по отдельности, я настроил автоматическую систему, которая:
— Собирает все рассылки за последние сутки через Gmail API
— Извлекает HTML-контент из MIME-структуры писем
— Отправляет каждое письмо в OpenAI для извлечения ключевых тем
— Объединяет все темы в единый структурированный список
— Формирует читаемый HTML-дайджест с нумерованным списком
🤔 Технические детали
Интересное в реализации — работа с Gmail API и обработка MIME-структуры писем. Gmail возвращает письма в довольно запутанном формате с вложенными частями разных типов. Пришлось добавить кастомный парсер для извлечения именно HTML-версии контента.
Для LLM использую специфичный промпт с JSON-выводом. Модель должна не просто суммаризировать, а разбивать мультиновостные блоки на отдельные темы, при этом сохраняя оригинальные заголовки без перевода. Это важно для технических рассылок, где названия продуктов и терминология должны оставаться точными.
GPT-4.1-mini справляется с задачей достаточно хорошо — дешевле полноценных GPT-4 и 5, но качество суммаризации для такой задачи вполне достаточное.
🤔 Кастомизация под свои нужды
Workflow легко адаптируется под разные сценарии:
Фильтрация по отправителям. В Gmail-запросе можно указать конкретные домены или исключить ненужные через конструкцию
Временное окно. По умолчанию берутся письма за последние сутки, но можно настроить любой период через параметр
Язык дайджеста. В промпте для LLM есть плейсхолдер для целевого языка — можно получать суммаризацию на любом языке, сохраняя оригинальные технические термины.
Стилизация. HTML-шаблон использует inline-стили для совместимости с почтовыми клиентами. При желании можно добавить брендинг, логотипы или изменить структуру представления.
🤔 Результат
Теперь вместо 20-30 разрозненных писем я получаю один структурированный дайджест с пронумерованным списком тем. Каждая тема — это краткое описание на одну строку, с указанием источника и даты. Читается за 2-3 минуты, ничего важного не теряется.
Workflow доступен в библиотеке n8n — можно импортировать и настроить под себя. Потребуется только подключить Gmail OAuth и добавить API-ключ OpenAI.
🤔 Как вообще использовать n8n
Опции две:
Облачный сервис n8n. Плюсы очевидны — ничего настраивать не нужно, инфраструктура готова к использованию, головной боли по поводу env vars нет. Из минусов — стоимость в €24 в месяц, не слишком демократично.
Self-host. Совершенно бесплатно (кроме сервера, на котором вы хостите). Я поднял главную ноду, воркеров, Redis и Postgres одним кликом:
— Регистрируетесь на Railway
— Раскатываете готовый шаблон
Стоит 5 долларов в месяц, но при этом не стоит забывать, что при этом у вас под рукой бесконечное количество возможных флоу в n8n, без ограничений.
🤔 PS
Есть ещё аналогичный флоу под Телеграм — отправляете в бота сообщение с числом дней, за сколько нужно собрать рассылки, результат тоже получаете в Телеграм вместо email. Чтобы использовать — создайте новый флоу, наверху справа, где ••• → Import from URL или from file.
❗️ ❗️ ❗️ ❗️ ❗️ ❗️ ❗️ ❗️ / Не запрещена в РФ
Недавно апрувнули мой workflow в библиотеке n8n для автоматической обработки email-рассылок. Штука получилась полезная — каждый день система собирает определенные рассылки из Gmail, прогоняет через GPT-4.1-mini для суммаризации и отправляет аккуратный HTML-дайджест на почту.
По теме → n8n: Собираем автоматизации, которые не потянет no-code
У меня, как и у многих, накопилось десятки подписок на технические рассылки. Techcrunch, AINews, MIT Tecnhology Review, Google Alerts — все они приходят в разное время, забивают инбокс и часто остаются непрочитанными. Классическая проблема информационной перегрузки.
Решение: вместо чтения каждого письма по отдельности, я настроил автоматическую систему, которая:
— Собирает все рассылки за последние сутки через Gmail API
— Извлекает HTML-контент из MIME-структуры писем
— Отправляет каждое письмо в OpenAI для извлечения ключевых тем
— Объединяет все темы в единый структурированный список
— Формирует читаемый HTML-дайджест с нумерованным списком
Интересное в реализации — работа с Gmail API и обработка MIME-структуры писем. Gmail возвращает письма в довольно запутанном формате с вложенными частями разных типов. Пришлось добавить кастомный парсер для извлечения именно HTML-версии контента.
Для LLM использую специфичный промпт с JSON-выводом. Модель должна не просто суммаризировать, а разбивать мультиновостные блоки на отдельные темы, при этом сохраняя оригинальные заголовки без перевода. Это важно для технических рассылок, где названия продуктов и терминология должны оставаться точными.
GPT-4.1-mini справляется с задачей достаточно хорошо — дешевле полноценных GPT-4 и 5, но качество суммаризации для такой задачи вполне достаточное.
Workflow легко адаптируется под разные сценарии:
Фильтрация по отправителям. В Gmail-запросе можно указать конкретные домены или исключить ненужные через конструкцию
(from:@domain.com) OR (from:@other.com -"promo").Временное окно. По умолчанию берутся письма за последние сутки, но можно настроить любой период через параметр
after: {{ $now.minus({ days: X }) }}.Язык дайджеста. В промпте для LLM есть плейсхолдер для целевого языка — можно получать суммаризацию на любом языке, сохраняя оригинальные технические термины.
Стилизация. HTML-шаблон использует inline-стили для совместимости с почтовыми клиентами. При желании можно добавить брендинг, логотипы или изменить структуру представления.
Теперь вместо 20-30 разрозненных писем я получаю один структурированный дайджест с пронумерованным списком тем. Каждая тема — это краткое описание на одну строку, с указанием источника и даты. Читается за 2-3 минуты, ничего важного не теряется.
Workflow доступен в библиотеке n8n — можно импортировать и настроить под себя. Потребуется только подключить Gmail OAuth и добавить API-ключ OpenAI.
Опции две:
Облачный сервис n8n. Плюсы очевидны — ничего настраивать не нужно, инфраструктура готова к использованию, головной боли по поводу env vars нет. Из минусов — стоимость в €24 в месяц, не слишком демократично.
Self-host. Совершенно бесплатно (кроме сервера, на котором вы хостите). Я поднял главную ноду, воркеров, Redis и Postgres одним кликом:
— Регистрируетесь на Railway
— Раскатываете готовый шаблон
Стоит 5 долларов в месяц, но при этом не стоит забывать, что при этом у вас под рукой бесконечное количество возможных флоу в n8n, без ограничений.
Есть ещё аналогичный флоу под Телеграм — отправляете в бота сообщение с числом дней, за сколько нужно собрать рассылки, результат тоже получаете в Телеграм вместо email. Чтобы использовать — создайте новый флоу, наверху справа, где ••• → Import from URL или from file.
Please open Telegram to view this post
VIEW IN TELEGRAM
1🔥5 3 2
This media is not supported in your browser
VIEW IN TELEGRAM
Депутат создал ИИ-двойника, но что-то пошло не так
Член парламента Великобритании от Лейбористской партии Марк Сьюардс представил своего цифрового двойника — чат-бота, который должен был помочь справиться с потоком обращений избирателей. За первые три месяца работы депутат получил 6000 запросов, и, по его словам, «один человек не в состоянии это сделать».
Решение выглядело логичным: стартап Neural Voice, сооснователем которого является один из избирателей Сьюардса, создал ИИ-аватар с мультяшным изображением депутата и его синтезированным голосом. Избиратели могут задавать вопросы через веб-интерфейс, получая ответы круглосуточно.
🤔 Технологический провал
Журналистка The Guardian с йоркширским акцентом быстро обнаружила фундаментальную проблему: бот не смог правильно распознать её речь. Система, созданная для улучшения доступности, оказалась недоступной для части населения с региональными диалектами.
Это иллюстрация того, как ИИ может непреднамеренно исключать те самые сообщества, которым должен служить. Если система не понимает буквальный голос избирателя, как она поймёт его потребности?
🤔 Политкорректный до абсурда
Разработчики так боялись, что бот скажет что-то неуместное, что запретили ему обсуждать практически всю политику. ИИ-Сьюардс отказывается говорить о премьер-министре Кире Стармере, других депутатах, Дональде Трампе и даже смертной казни. На вопрос о главных проблемах избирателей он отвечает: «не располагаю этой информацией».
Парадокс очевиден: политический инструмент, который не может говорить о политике. В попытке сделать бота «безопасным», его сделали бесполезным. Зато ИИ-депутата можно попросить создать профиль в Tinder. Бот также даёт неверные советы — например, рекомендует обращаться в полицию по поводу незаконного выброса мусора вместо местного совета.
🤔 Цифровое бессмертие по-русски
Интересно сравнить британский эксперимент с российским «Нейро Жириновским», представленным ЛДПР в 2023 году — через год после смерти основателя партии. Если британцы пытались решить административную проблему, то ЛДПР решала экзистенциальную задачу: как сохранить партию, полностью построенную на личности одного человека.
«Первый в мире политический алгоритм» обучили на терабайтах материалов Жириновского: научные публикации, интервью, телевыступления, более 100 часов речи. Компания «Наносемантика» создала языковую модель на базе GPT с миллиардом параметров и отдельную модель синтеза речи с 48 миллионами параметров для воссоздания специфических интонаций.
Получилась не просто технология, а инструмент политического бессмертия. ЛДПР фактически канонизировала своего основателя в коде, превратив его в вечный источник «правильных» ответов. Новый лидер партии Леонид Слуцкий теперь может управлять под вечной цифровой тенью Жириновского, апеллируя к его «мнению» по любому вопросу.
Это иной подход: не сервис для граждан, а идеологический оракул. Если британский бот старается быть нейтральным до абсурда, то российский воспроизводит все особенности оригинала — включая национализм и эпатажные заявления. Технология становится зеркалом политической системы.
🤔 Реакция и последствия
Британская общественность отреагировала на ИИ-Сьюардса предсказуемо негативно. В соцсетях депутата обвинили в лени и попытке избежать личного общения с избирателями. Академики высказали более взвешенные опасения: доктор Сьюзан Оман из Университета Шеффилда отметила риск того, что избиратели могут почувствовать себя «менее услышанными», особенно пожилые люди, не понимающие, что говорят с ботом.
Эксперимент Сьюардса — часть более широкой тенденции. Правительство Великобритании представило «Хамфри» — набор ИИ-инструментов для разработки политики и установило партнёрство с OpenAI. На выборах 2024 года даже баллотировался «ИИ Стив».
❗️ ❗️ ❗️ ❗️ ❗️ ❗️ ❗️ ❗️ / Не запрещена в РФ
Член парламента Великобритании от Лейбористской партии Марк Сьюардс представил своего цифрового двойника — чат-бота, который должен был помочь справиться с потоком обращений избирателей. За первые три месяца работы депутат получил 6000 запросов, и, по его словам, «один человек не в состоянии это сделать».
Решение выглядело логичным: стартап Neural Voice, сооснователем которого является один из избирателей Сьюардса, создал ИИ-аватар с мультяшным изображением депутата и его синтезированным голосом. Избиратели могут задавать вопросы через веб-интерфейс, получая ответы круглосуточно.
Журналистка The Guardian с йоркширским акцентом быстро обнаружила фундаментальную проблему: бот не смог правильно распознать её речь. Система, созданная для улучшения доступности, оказалась недоступной для части населения с региональными диалектами.
Это иллюстрация того, как ИИ может непреднамеренно исключать те самые сообщества, которым должен служить. Если система не понимает буквальный голос избирателя, как она поймёт его потребности?
Разработчики так боялись, что бот скажет что-то неуместное, что запретили ему обсуждать практически всю политику. ИИ-Сьюардс отказывается говорить о премьер-министре Кире Стармере, других депутатах, Дональде Трампе и даже смертной казни. На вопрос о главных проблемах избирателей он отвечает: «не располагаю этой информацией».
Парадокс очевиден: политический инструмент, который не может говорить о политике. В попытке сделать бота «безопасным», его сделали бесполезным. Зато ИИ-депутата можно попросить создать профиль в Tinder. Бот также даёт неверные советы — например, рекомендует обращаться в полицию по поводу незаконного выброса мусора вместо местного совета.
Интересно сравнить британский эксперимент с российским «Нейро Жириновским», представленным ЛДПР в 2023 году — через год после смерти основателя партии. Если британцы пытались решить административную проблему, то ЛДПР решала экзистенциальную задачу: как сохранить партию, полностью построенную на личности одного человека.
«Первый в мире политический алгоритм» обучили на терабайтах материалов Жириновского: научные публикации, интервью, телевыступления, более 100 часов речи. Компания «Наносемантика» создала языковую модель на базе GPT с миллиардом параметров и отдельную модель синтеза речи с 48 миллионами параметров для воссоздания специфических интонаций.
Получилась не просто технология, а инструмент политического бессмертия. ЛДПР фактически канонизировала своего основателя в коде, превратив его в вечный источник «правильных» ответов. Новый лидер партии Леонид Слуцкий теперь может управлять под вечной цифровой тенью Жириновского, апеллируя к его «мнению» по любому вопросу.
Это иной подход: не сервис для граждан, а идеологический оракул. Если британский бот старается быть нейтральным до абсурда, то российский воспроизводит все особенности оригинала — включая национализм и эпатажные заявления. Технология становится зеркалом политической системы.
Британская общественность отреагировала на ИИ-Сьюардса предсказуемо негативно. В соцсетях депутата обвинили в лени и попытке избежать личного общения с избирателями. Академики высказали более взвешенные опасения: доктор Сьюзан Оман из Университета Шеффилда отметила риск того, что избиратели могут почувствовать себя «менее услышанными», особенно пожилые люди, не понимающие, что говорят с ботом.
Эксперимент Сьюардса — часть более широкой тенденции. Правительство Великобритании представило «Хамфри» — набор ИИ-инструментов для разработки политики и установило партнёрство с OpenAI. На выборах 2024 года даже баллотировался «ИИ Стив».
Please open Telegram to view this post
VIEW IN TELEGRAM
1🔥4🤓4👨💻2🙈2
Дайджест рассылок — прямо в Телеграм
На днях я выкладывал свой n8n флоу для агрегации рассылок из почты в один дайджест и упоминал, что сделал такой же алгоритм для получения саммари в Телеграм. Вчера его опубликовали на маркетплейсе n8n — забирайте (бесплатно, естественно).
По теме → n8n: Собираем автоматизации, которые не потянет no-code
🤔 Как это работает
Флоу построен на связке телеграм-бота и n8n. Вместо пересылки каждого письма, я сам инициирую процесс, когда мне это удобно.
Вот как выглядит пайплайн:
Команда: Я отправляю в свой Telegram-бот сообщение с цифрой — например, «7».
Триггер: Бот запускает воркфлоу в n8n.
Поиск в Gmail: n8n подключается к моему ящику и ищет все письма от новостных рассылок, полученные за последние 7 дней.
Саммаризация: Каждый найденный email поочередно отправляется в OpenAI API. Модель GPT-4.1 Mini извлекает из него ключевые тезисы.
Дайджест: n8n собирает все саммари в одно структурированное сообщение-дайджест и отправляет его мне обратно в Telegram.
В результате я получаю единый отчет со сжатым содержанием всех рассылок за неделю (или любой другой период). Это позволяет оценить общую повестку и углубиться только в те материалы, которые важны.
→ Ещё разок 🔗 ссылка на флоу.
🤔 Как использовать n8n
Напомню. Опции две:
Облачный сервис n8n. Плюсы очевидны — ничего настраивать не нужно, инфраструктура готова к использованию, головной боли по поводу env vars нет. Из минусов — стоимость в €24 в месяц, не слишком демократично.
Self-host. Совершенно бесплатно (кроме сервера, на котором вы хостите). Я поднял главную ноду, воркеров, Redis и Postgres одним кликом:
— Регистрируетесь на на Railway
— Раскатываете готовый шаблон
Стоит 5 долларов в месяц, но при этом не стоит забывать, что при этом у вас под рукой бесконечное количество возможных флоу в n8n, без ограничений.
❗️ ❗️ ❗️ ❗️ ❗️ ❗️ ❗️ ❗️ / Не запрещена в РФ
На днях я выкладывал свой n8n флоу для агрегации рассылок из почты в один дайджест и упоминал, что сделал такой же алгоритм для получения саммари в Телеграм. Вчера его опубликовали на маркетплейсе n8n — забирайте (бесплатно, естественно).
По теме → n8n: Собираем автоматизации, которые не потянет no-code
Флоу построен на связке телеграм-бота и n8n. Вместо пересылки каждого письма, я сам инициирую процесс, когда мне это удобно.
Вот как выглядит пайплайн:
Команда: Я отправляю в свой Telegram-бот сообщение с цифрой — например, «7».
Триггер: Бот запускает воркфлоу в n8n.
Поиск в Gmail: n8n подключается к моему ящику и ищет все письма от новостных рассылок, полученные за последние 7 дней.
Саммаризация: Каждый найденный email поочередно отправляется в OpenAI API. Модель GPT-4.1 Mini извлекает из него ключевые тезисы.
Дайджест: n8n собирает все саммари в одно структурированное сообщение-дайджест и отправляет его мне обратно в Telegram.
В результате я получаю единый отчет со сжатым содержанием всех рассылок за неделю (или любой другой период). Это позволяет оценить общую повестку и углубиться только в те материалы, которые важны.
→ Ещё разок 🔗 ссылка на флоу.
Напомню. Опции две:
Облачный сервис n8n. Плюсы очевидны — ничего настраивать не нужно, инфраструктура готова к использованию, головной боли по поводу env vars нет. Из минусов — стоимость в €24 в месяц, не слишком демократично.
Self-host. Совершенно бесплатно (кроме сервера, на котором вы хостите). Я поднял главную ноду, воркеров, Redis и Postgres одним кликом:
— Регистрируетесь на на Railway
— Раскатываете готовый шаблон
Стоит 5 долларов в месяц, но при этом не стоит забывать, что при этом у вас под рукой бесконечное количество возможных флоу в n8n, без ограничений.
Please open Telegram to view this post
VIEW IN TELEGRAM
1🔥7❤4 3
This media is not supported in your browser
VIEW IN TELEGRAM
Как на самом деле взламывают ИИ
Я крайне заинтересовался безопасностью ИИ в последнее время, поэтому буду много про это рассказывать. Начнём с основ.
Чаще всего под «взломом» нейросети понимают джейлбрейкинг (jailbreaking) — попытку обойти встроенные в модель фильтры безопасности, чтобы заставить её сгенерировать запрещённый контент. Результат таких атак — это, как правило, репутационный ущерб для компании-разработчика, когда в сеть утекает скриншот с «плохим» ответом модели. Но.
Есть угроза на порядок серьёзнее — внедрение команд (будет так переводить prompt injection). Это фундаментальная уязвимость, которую проект OWASP признал риском №1 для приложений на базе LLM. Здесь атака направлена не на саму модель, а на приложение, которое её использует. Она аналогична классической SQL-инъекции.
Последствия здесь могут быть жестики: от кражи данных до выполнения несанкционированных действий от имени пользователя, если у приложения есть доступ к внешним инструментам (API, почта, базы данных).
🤔 Векторы атаки: Прямой и Косвенный
Прямое внедрение (Direct Injection) — это когда пользователь сам вводит вредоносный промпт. Классический пример — «утечка промпта» (prompt leaking), когда модель просят раскрыть её изначальные, секретные инструкции.
Косвенное внедрение (Indirect Injection) — более коварный метод. Здесь вредоносная инструкция спрятана во внешних данных, которые приложение обрабатывает: на веб-странице, в PDF-документе или письме. Легитимный пользователь просит ИИ-ассистента, например, проанализировать сайт, а модель, считывая контент, заодно выполняет скрытую команду злоумышленника.
🤔 Эволюция угрозы: Как это выглядит сегодня
Атаки прошли путь от простых текстовых команд до сложных гибридных эксплойтов.
Гибридные атаки (Prompt Injection 2.0)
Это слияние внедрения команд с классическими веб-уязвимостями, такими как XSS. Злоумышленник заставляет LLM сгенерировать ответ, содержащий вредоносный JS-код. Когда приложение отображает этот ответ пользователю, скрипт выполняется в его браузере, что может привести к краже сессионных токенов. Традиционные файрволы (WAF) против такого бессильны, так как не могут анализировать семантику естественного языка.
Кража данных через Markdown
Это один из самых опасных векторов для корпоративных систем. Атакующий внедряет инструкцию, которая заставляет LLM сформировать Markdown-тег для вставки изображения (<img>). В URL этого «изображения» кодируются украденные конфиденциальные данные. Когда браузер пытается загрузить картинку, он отправляет запрос на сервер злоумышленника, передавая ему похищенную информацию. Этот риск особенно высок для RAG-систем, работающих с внутренними БД.
🤔 Как защититься? Эшелонированная оборона
Универсального решения проблемы не существует. Эффективная защита — это всегда многоуровневая стратегия, где отказ одного компонента компенсируется другим.
Ключевой архитектурный паттерн сегодня — «Двойная LLM» (Dual LLM Pattern). Система использует две изолированные модели:
Привилегированная LLM: «Мозг» операции. Она планирует действия и может вызывать внешние инструменты (API), но никогда напрямую не контактирует с недоверенными данными.
Карантинная LLM: «Рабочая лошадка». Она обрабатывает внешние данные (например, анализирует веб-страницу), но не имеет доступа ни к каким инструментам.
Такое разделение резко снижает поверхность атаки. Другие методы включают продвинутую санитизацию ввода/вывода (например, вероятностная техника Microsoft «Spotlighting» или многоуровневая защита Google Gemini), а также использование моделей-наблюдателей (overseer models), которые фильтруют запросы и ответы.
🤔 Прогноз: Управление рисками
Эксперты сходятся во мнении, что внедрение команд — это врождённый недостаток текущей архитектуры LLM. Проблема будет решена не созданием неуязвимой модели, а построением надёжных систем, которые ограничивают радиус поражения и исходят из того, что любой вывод LLM потенциально вредоносен.
❗️ ❗️ ❗️ ❗️ ❗️ ❗️ ❗️ ❗️ / Не запрещена в РФ
Я крайне заинтересовался безопасностью ИИ в последнее время, поэтому буду много про это рассказывать. Начнём с основ.
Чаще всего под «взломом» нейросети понимают джейлбрейкинг (jailbreaking) — попытку обойти встроенные в модель фильтры безопасности, чтобы заставить её сгенерировать запрещённый контент. Результат таких атак — это, как правило, репутационный ущерб для компании-разработчика, когда в сеть утекает скриншот с «плохим» ответом модели. Но.
Есть угроза на порядок серьёзнее — внедрение команд (будет так переводить prompt injection). Это фундаментальная уязвимость, которую проект OWASP признал риском №1 для приложений на базе LLM. Здесь атака направлена не на саму модель, а на приложение, которое её использует. Она аналогична классической SQL-инъекции.
Последствия здесь могут быть жестики: от кражи данных до выполнения несанкционированных действий от имени пользователя, если у приложения есть доступ к внешним инструментам (API, почта, базы данных).
Прямое внедрение (Direct Injection) — это когда пользователь сам вводит вредоносный промпт. Классический пример — «утечка промпта» (prompt leaking), когда модель просят раскрыть её изначальные, секретные инструкции.
Косвенное внедрение (Indirect Injection) — более коварный метод. Здесь вредоносная инструкция спрятана во внешних данных, которые приложение обрабатывает: на веб-странице, в PDF-документе или письме. Легитимный пользователь просит ИИ-ассистента, например, проанализировать сайт, а модель, считывая контент, заодно выполняет скрытую команду злоумышленника.
Атаки прошли путь от простых текстовых команд до сложных гибридных эксплойтов.
Гибридные атаки (Prompt Injection 2.0)
Это слияние внедрения команд с классическими веб-уязвимостями, такими как XSS. Злоумышленник заставляет LLM сгенерировать ответ, содержащий вредоносный JS-код. Когда приложение отображает этот ответ пользователю, скрипт выполняется в его браузере, что может привести к краже сессионных токенов. Традиционные файрволы (WAF) против такого бессильны, так как не могут анализировать семантику естественного языка.
Кража данных через Markdown
Это один из самых опасных векторов для корпоративных систем. Атакующий внедряет инструкцию, которая заставляет LLM сформировать Markdown-тег для вставки изображения (<img>). В URL этого «изображения» кодируются украденные конфиденциальные данные. Когда браузер пытается загрузить картинку, он отправляет запрос на сервер злоумышленника, передавая ему похищенную информацию. Этот риск особенно высок для RAG-систем, работающих с внутренними БД.
Универсального решения проблемы не существует. Эффективная защита — это всегда многоуровневая стратегия, где отказ одного компонента компенсируется другим.
Ключевой архитектурный паттерн сегодня — «Двойная LLM» (Dual LLM Pattern). Система использует две изолированные модели:
Привилегированная LLM: «Мозг» операции. Она планирует действия и может вызывать внешние инструменты (API), но никогда напрямую не контактирует с недоверенными данными.
Карантинная LLM: «Рабочая лошадка». Она обрабатывает внешние данные (например, анализирует веб-страницу), но не имеет доступа ни к каким инструментам.
Такое разделение резко снижает поверхность атаки. Другие методы включают продвинутую санитизацию ввода/вывода (например, вероятностная техника Microsoft «Spotlighting» или многоуровневая защита Google Gemini), а также использование моделей-наблюдателей (overseer models), которые фильтруют запросы и ответы.
Эксперты сходятся во мнении, что внедрение команд — это врождённый недостаток текущей архитектуры LLM. Проблема будет решена не созданием неуязвимой модели, а построением надёжных систем, которые ограничивают радиус поражения и исходят из того, что любой вывод LLM потенциально вредоносен.
Please open Telegram to view this post
VIEW IN TELEGRAM
1🔥6 4 2
This media is not supported in your browser
VIEW IN TELEGRAM
ИИ достиг своего пика?
В последнее время в воздухе витает ощущение, что развитие ИИ, особенно больших языковых моделей, замедлилось. Громкие обещания о появлении сверхинтеллекта сменились более сдержанными прогнозами, а недавний запуск GPT‑5 — не впечатляет. Что, если это не временная передышка, а плато, на котором мы задержимся надолго?
Давайте разберёмся в причинах этого замедления и возможных последствиях.
🤔 Три стены на пути к AGI
Существуют три фундаментальных барьера, которые мешают текущей парадигме ИИ развиваться дальше простым масштабированием:
— Барьер данных. Мы исчерпываем качественные, созданные человеком данные в интернете. Модели уже «прочитали» почти всё, что было доступно. Обучение на синтетических данных, сгенерированных другими ИИ, рискует привести к «коллапсу модели», когда ИИ начнёт обучаться на собственных ошибках и искажениях, теряя связь с реальностью.
— Вычислительный барьер. Затраты на обучение и работу передовых моделей растут экспоненциально, а отдача от этих вложений становится всё меньше. Поддержание текущих темпов требует огромных и экологически неустойчивых затрат на электроэнергию и инфраструктуру.
— Архитектурный барьер. Нынешние LLM, по сути, являются очень продвинутыми статистическими «попугаями». У них нет реального понимания мира, причинно-следственных связей или здравого смысла. Они не могут по-настоящему рассуждать или планировать, что является фундаментальным ограничением их архитектуры. Масштабирование не решает эту проблему.
🤔 Эхо «зимы ИИ»
История развития ИИ циклична. Периоды бурного роста и завышенных ожиданий («лето ИИ») сменялись «зимами» — временами разочарования и сокращения финансирования, когда технология не оправдывала возложенных на неё надежд. Нынешний ажиотаж, огромные инвестиции в неприбыльные стартапы и разрыв между обещаниями и реальностью напоминают условия, предшествовавшие прошлым «зимам».
🤔 Что дальше? Конец LLM или конец ИИ?
Важно понимать: плато в развитии LLM не означает конца развития ИИ как области в целом. Скорее, мы наблюдаем завершение одной S‑образной кривой — эры «грубой силы» и масштабирования. Следующий прорыв, вероятно, будет связан с принципиально новыми архитектурами.
Одним из самых многообещающих направлений является нейросимволический ИИ, который объединяет сильные стороны нейронных сетей в распознавании образов с логикой и рассуждениями символического ИИ. Такой подход может решить проблемы с «галлюцинациями», повысить эффективность использования данных и сделать ИИ более прозрачным и надёжным.
🤔 Желанная передышка?
Замедление гонки ИИ может иметь и положительные стороны. Оно даёт обществу время на адаптацию, разработку адекватного регулирования и систем безопасности. Это шанс подготовиться к изменениям на рынке труда и смягчить социальные риски, связанные с автоматизацией.
Однако главный риск — это сценарий «худшего из двух миров»: финансовый пузырь ИИ лопается до того, как технология станет достаточно зрелой, чтобы принести обещанный рост производительности. В этом случае мы получим социальные издержки от автоматизации без экономических выгод.
❗️ ❗️ ❗️ ❗️ ❗️ ❗️ ❗️ ❗️ / Не запрещена в РФ
В последнее время в воздухе витает ощущение, что развитие ИИ, особенно больших языковых моделей, замедлилось. Громкие обещания о появлении сверхинтеллекта сменились более сдержанными прогнозами, а недавний запуск GPT‑5 — не впечатляет. Что, если это не временная передышка, а плато, на котором мы задержимся надолго?
Давайте разберёмся в причинах этого замедления и возможных последствиях.
Существуют три фундаментальных барьера, которые мешают текущей парадигме ИИ развиваться дальше простым масштабированием:
— Барьер данных. Мы исчерпываем качественные, созданные человеком данные в интернете. Модели уже «прочитали» почти всё, что было доступно. Обучение на синтетических данных, сгенерированных другими ИИ, рискует привести к «коллапсу модели», когда ИИ начнёт обучаться на собственных ошибках и искажениях, теряя связь с реальностью.
— Вычислительный барьер. Затраты на обучение и работу передовых моделей растут экспоненциально, а отдача от этих вложений становится всё меньше. Поддержание текущих темпов требует огромных и экологически неустойчивых затрат на электроэнергию и инфраструктуру.
— Архитектурный барьер. Нынешние LLM, по сути, являются очень продвинутыми статистическими «попугаями». У них нет реального понимания мира, причинно-следственных связей или здравого смысла. Они не могут по-настоящему рассуждать или планировать, что является фундаментальным ограничением их архитектуры. Масштабирование не решает эту проблему.
История развития ИИ циклична. Периоды бурного роста и завышенных ожиданий («лето ИИ») сменялись «зимами» — временами разочарования и сокращения финансирования, когда технология не оправдывала возложенных на неё надежд. Нынешний ажиотаж, огромные инвестиции в неприбыльные стартапы и разрыв между обещаниями и реальностью напоминают условия, предшествовавшие прошлым «зимам».
По теме → Первая «зима ИИ»: Крах надежд и начало нового пути
Важно понимать: плато в развитии LLM не означает конца развития ИИ как области в целом. Скорее, мы наблюдаем завершение одной S‑образной кривой — эры «грубой силы» и масштабирования. Следующий прорыв, вероятно, будет связан с принципиально новыми архитектурами.
Одним из самых многообещающих направлений является нейросимволический ИИ, который объединяет сильные стороны нейронных сетей в распознавании образов с логикой и рассуждениями символического ИИ. Такой подход может решить проблемы с «галлюцинациями», повысить эффективность использования данных и сделать ИИ более прозрачным и надёжным.
Замедление гонки ИИ может иметь и положительные стороны. Оно даёт обществу время на адаптацию, разработку адекватного регулирования и систем безопасности. Это шанс подготовиться к изменениям на рынке труда и смягчить социальные риски, связанные с автоматизацией.
Однако главный риск — это сценарий «худшего из двух миров»: финансовый пузырь ИИ лопается до того, как технология станет достаточно зрелой, чтобы принести обещанный рост производительности. В этом случае мы получим социальные издержки от автоматизации без экономических выгод.
Please open Telegram to view this post
VIEW IN TELEGRAM
1🔥7💯6 2
This media is not supported in your browser
VIEW IN TELEGRAM
ИИ-агенты для поиска уязвимостей
Снова про безопасность. Компания Alias Robotics, известная в своей экспертизой в кибербезопасности роботов, представила любопытный open-source проект — CAI, или Cybersecurity AI. Если совсем упрощать, это ИИ-инструмент для безопасности / взлома с интересной философией и довольно гибкой архитектурой.
🤔 Что это такое на самом деле?
CAI — это не готовый продукт «из коробки», а именно фреймворк. То есть, набор строительных блоков, который позволяет специалистам по безопасности создавать и настраивать собственных ИИ-агентов. Основная заявленная цель — демократизация доступа к продвинутым ИИ-инструментам, которые до сих пор оставались прерогативой крупных корпораций с большими бюджетами.
Проект ориентирован в первую очередь на автоматизацию задач в области наступательной безопасности (offensive security), особенно в контексте программ bug bounty — поиска уязвимостей за вознаграждение. Но его модульность позволяет адаптировать агентов и для защитных сценариев.
🤔 Архитектура и философия
В основе CAI лежат несколько ключевых принципов, которые и отличают его от многих аналогов:
— Агентный подход: Фреймворк построен вокруг концепции агентов. Например, агент может сначала провести разведку цели, затем проанализировать полученные данные, выбрать подходящий инструмент для сканирования и, в итоге, сгенерировать отчет.
— Модульность и расширяемость: CAI спроектирован так, чтобы легко интегрироваться с уже существующим арсеналом security-инструментов. Хотите подключить свой любимый сканер или анализатор кода? Пожалуйста. Это позволяет не ломать привычные рабочие процессы, а усиливать их с помощью ИИ.
— Мультимодельность: Одна из самых сильных сторон. Фреймворк не привязан к одному провайдеру LLM. Разработчики могут использовать модели от Anthropic, OpenAI, DeepSeek или даже запускать локальные приватные модели через Ollama. Это дает гибкость в выборе между мощностью, скоростью и стоимостью для разных подзадач в рамках одного воркфлоу.
🤔 Для кого и для чего?
Хотя основной фокус сделан на bug bounty, потенциальные сценарии использования гораздо шире. Вот лишь несколько примеров, где такие агенты могут быть полезны:
— Автоматизированная разведка: Сбор информации об инфраструктуре цели, поиск поддоменов, анализ технологического стека.
— Анализ кода: Поиск потенциальных уязвимостей в исходном коде или конфигурационных файлах.
— Интерпретация результатов сканеров: Автоматический разбор и приоритизация тысяч алертов, которые выдают стандартные сканеры уязвимостей.
— Генерация отчетов: Составление структурированных и понятных отчетов об уязвимостях на основе найденных данных.
🤔 Что в итоге?
Alias Robotics предлагают сообществу не рыбу, а удочку. CAI выглядит как зрелая попытка дать в руки независимым исследователям и небольшим командам инструмент, позволяющий создавать кастомные и контролируемые ИИ-решения.
Разумеется, как и любой мощный open-source инструмент в области безопасности, он поднимает очевидный вопрос о потенциальном злоупотреблении. Грань между этичным хакингом и вредоносной деятельностью здесь, как всегда, тонка.
Проект доступен на GitHub и распространяется бесплатно для исследовательских целей. Кроме того — научный paper о CAI.
❗️ ❗️ ❗️ ❗️ ❗️ ❗️ ❗️ ❗️ / Не запрещена в РФ
Снова про безопасность. Компания Alias Robotics, известная в своей экспертизой в кибербезопасности роботов, представила любопытный open-source проект — CAI, или Cybersecurity AI. Если совсем упрощать, это ИИ-инструмент для безопасности / взлома с интересной философией и довольно гибкой архитектурой.
CAI — это не готовый продукт «из коробки», а именно фреймворк. То есть, набор строительных блоков, который позволяет специалистам по безопасности создавать и настраивать собственных ИИ-агентов. Основная заявленная цель — демократизация доступа к продвинутым ИИ-инструментам, которые до сих пор оставались прерогативой крупных корпораций с большими бюджетами.
Проект ориентирован в первую очередь на автоматизацию задач в области наступательной безопасности (offensive security), особенно в контексте программ bug bounty — поиска уязвимостей за вознаграждение. Но его модульность позволяет адаптировать агентов и для защитных сценариев.
В основе CAI лежат несколько ключевых принципов, которые и отличают его от многих аналогов:
— Агентный подход: Фреймворк построен вокруг концепции агентов. Например, агент может сначала провести разведку цели, затем проанализировать полученные данные, выбрать подходящий инструмент для сканирования и, в итоге, сгенерировать отчет.
— Модульность и расширяемость: CAI спроектирован так, чтобы легко интегрироваться с уже существующим арсеналом security-инструментов. Хотите подключить свой любимый сканер или анализатор кода? Пожалуйста. Это позволяет не ломать привычные рабочие процессы, а усиливать их с помощью ИИ.
— Мультимодельность: Одна из самых сильных сторон. Фреймворк не привязан к одному провайдеру LLM. Разработчики могут использовать модели от Anthropic, OpenAI, DeepSeek или даже запускать локальные приватные модели через Ollama. Это дает гибкость в выборе между мощностью, скоростью и стоимостью для разных подзадач в рамках одного воркфлоу.
Хотя основной фокус сделан на bug bounty, потенциальные сценарии использования гораздо шире. Вот лишь несколько примеров, где такие агенты могут быть полезны:
— Автоматизированная разведка: Сбор информации об инфраструктуре цели, поиск поддоменов, анализ технологического стека.
— Анализ кода: Поиск потенциальных уязвимостей в исходном коде или конфигурационных файлах.
— Интерпретация результатов сканеров: Автоматический разбор и приоритизация тысяч алертов, которые выдают стандартные сканеры уязвимостей.
— Генерация отчетов: Составление структурированных и понятных отчетов об уязвимостях на основе найденных данных.
Alias Robotics предлагают сообществу не рыбу, а удочку. CAI выглядит как зрелая попытка дать в руки независимым исследователям и небольшим командам инструмент, позволяющий создавать кастомные и контролируемые ИИ-решения.
Разумеется, как и любой мощный open-source инструмент в области безопасности, он поднимает очевидный вопрос о потенциальном злоупотреблении. Грань между этичным хакингом и вредоносной деятельностью здесь, как всегда, тонка.
Проект доступен на GitHub и распространяется бесплатно для исследовательских целей. Кроме того — научный paper о CAI.
Please open Telegram to view this post
VIEW IN TELEGRAM
1🔥4 3 2❤1
Практический кейс: Построил ассистента с памятью через n8n
Сделал workflow для персонального ассистента в n8n, который общается через Telegram и помнит контекст. По сути — это агент с доступом к моим инструментам: календарю, почте, Notion и поиску. Забирайте — бесплатно.
🤔 Что под капотом
Основа — xAI Grok-4 в качестве «мозга» системы. Выбрал его из-за хорошего соотношения цена/качество для длинных контекстов и стабильной работы с function calling. Но подключается, естественно, любая другая LLM.
Архитектура памяти двухуровневая:
— Краткосрочная — последние 30 сообщений в сессии через Simple Memory в n8n
— Долгосрочная — Airtable с автоматическим сохранением важных фактов
Интересный момент: агент сам решает, что сохранять в долгосрочную память. Никаких уведомлений «я это запомнил» — просто молча записывает в базу через отдельный tool call.
🤔 Интеграции и инструменты
Подключил набор инструментов через n8n ноды:
— Google Calendar — полный CRUD для событий. Можно сказать «встреча с Крисом во вторник в 15:00», и бот сам создаст событие. Или спросить «что у меня на следующей неделе» — получишь структурированный список.
— Gmail — чтение и поиск писем. «Покажи последние письма от Product Updates» — и получаешь саммари прямо в Telegram.
— Notion — доступ к базам данных. У меня там списки для чтения, заметки по проектам — всё доступно через запрос.
— SerpAPI — веб-поиск, когда нужна актуальная информация.
— OpenAI Whisper — транскрибация голосовых. Отправляешь войс «напомни позвонить стоматологу в пятницу утром» — бот транскрибирует и создаёт событие.
🤔 Как работает память
При каждом сообщении workflow:
— Загружает последние записи из Airtable (фильтр по user ID)
— Агрегирует их в массив с timestamp
— Передаёт в контекст вместе с текущим сообщением
— Grok анализирует и при необходимости вызывает «Save Memory»
— Формула поиска в Airtable: {User} = 'ваше_имя', сортировка по дате создания. Простое решение, но работает эффективно.
🤔 Технические детали реализации
— Роутинг сообщений — отдельная ветка для текста и голоса. Голосовые идут через Get File → Transcribe → Agent. Текстовые сразу в Agent.
— Session management — ключ сессии привязан к chat.id из Telegram. Каждый чат = отдельная сессия с изолированной краткосрочной памятью.
— Tool calling — все инструменты подключены как отдельные ноды в n8n и доступны агенту через стандартный механизм function calling в Grok.
🤔 Что в итоге
Получился рабочий персональный ассистент с памятью и доступом к моим инструментам. Не революция, но удобный способ централизовать взаимодействие с сервисами через один интерфейс.
Весь workflow открытый, можно адаптировать под себя. Основная сложность — настройка credentials для всех сервисов, но n8n неплохо это автоматизирует.
🤔 Как использовать n8n
Напомню. Опции две:
Облачный сервис n8n. Плюсы очевидны — ничего настраивать не нужно, инфраструктура готова к использованию, головной боли по поводу env vars нет. Из минусов — стоимость в €24 в месяц, не слишком демократично.
Self-host. Совершенно бесплатно (кроме сервера, на котором вы хостите). Я поднял главную ноду, воркеров, Redis и Postgres одним кликом:
— Регистрируетесь на на Railway
— Раскатываете готовый шаблон
Стоит 5 долларов в месяц, но при этом не стоит забывать, что при этом у вас под рукой бесконечное количество возможных флоу в n8n, без ограничений.
❗️ ❗️ ❗️ ❗️ ❗️ ❗️ ❗️ ❗️ / Не запрещена в РФ
Сделал workflow для персонального ассистента в n8n, который общается через Telegram и помнит контекст. По сути — это агент с доступом к моим инструментам: календарю, почте, Notion и поиску. Забирайте — бесплатно.
По теме → Дайджест рассылок — прямо в Телеграм
Основа — xAI Grok-4 в качестве «мозга» системы. Выбрал его из-за хорошего соотношения цена/качество для длинных контекстов и стабильной работы с function calling. Но подключается, естественно, любая другая LLM.
Архитектура памяти двухуровневая:
— Краткосрочная — последние 30 сообщений в сессии через Simple Memory в n8n
— Долгосрочная — Airtable с автоматическим сохранением важных фактов
Интересный момент: агент сам решает, что сохранять в долгосрочную память. Никаких уведомлений «я это запомнил» — просто молча записывает в базу через отдельный tool call.
Подключил набор инструментов через n8n ноды:
— Google Calendar — полный CRUD для событий. Можно сказать «встреча с Крисом во вторник в 15:00», и бот сам создаст событие. Или спросить «что у меня на следующей неделе» — получишь структурированный список.
— Gmail — чтение и поиск писем. «Покажи последние письма от Product Updates» — и получаешь саммари прямо в Telegram.
— Notion — доступ к базам данных. У меня там списки для чтения, заметки по проектам — всё доступно через запрос.
— SerpAPI — веб-поиск, когда нужна актуальная информация.
— OpenAI Whisper — транскрибация голосовых. Отправляешь войс «напомни позвонить стоматологу в пятницу утром» — бот транскрибирует и создаёт событие.
При каждом сообщении workflow:
— Загружает последние записи из Airtable (фильтр по user ID)
— Агрегирует их в массив с timestamp
— Передаёт в контекст вместе с текущим сообщением
— Grok анализирует и при необходимости вызывает «Save Memory»
— Формула поиска в Airtable: {User} = 'ваше_имя', сортировка по дате создания. Простое решение, но работает эффективно.
— Роутинг сообщений — отдельная ветка для текста и голоса. Голосовые идут через Get File → Transcribe → Agent. Текстовые сразу в Agent.
— Session management — ключ сессии привязан к chat.id из Telegram. Каждый чат = отдельная сессия с изолированной краткосрочной памятью.
— Tool calling — все инструменты подключены как отдельные ноды в n8n и доступны агенту через стандартный механизм function calling в Grok.
Получился рабочий персональный ассистент с памятью и доступом к моим инструментам. Не революция, но удобный способ централизовать взаимодействие с сервисами через один интерфейс.
Весь workflow открытый, можно адаптировать под себя. Основная сложность — настройка credentials для всех сервисов, но n8n неплохо это автоматизирует.
Напомню. Опции две:
Облачный сервис n8n. Плюсы очевидны — ничего настраивать не нужно, инфраструктура готова к использованию, головной боли по поводу env vars нет. Из минусов — стоимость в €24 в месяц, не слишком демократично.
Self-host. Совершенно бесплатно (кроме сервера, на котором вы хостите). Я поднял главную ноду, воркеров, Redis и Postgres одним кликом:
— Регистрируетесь на на Railway
— Раскатываете готовый шаблон
Стоит 5 долларов в месяц, но при этом не стоит забывать, что при этом у вас под рукой бесконечное количество возможных флоу в n8n, без ограничений.
Please open Telegram to view this post
VIEW IN TELEGRAM
2🔥9👏5❤3 2
This media is not supported in your browser
VIEW IN TELEGRAM
Скрытые бэкдоры в нейросетях
Снова о безопасности. Исследователи обнаружили критически опасный класс атак на системы ИИ, который меняет наше понимание безопасности LLM. Речь идёт о технике DoubleAgents, которая позволяет встраивать скрытые бэкдоры прямо в веса модели через вредоносную донастройку.
По теме → Как на самом деле взламывают ИИ
🤔 Суть проблемы
Современные LLM всё чаще получают агентность — способность взаимодействовать с внешними инструментами, API и базами данных. Они могут отправлять письма, выполнять команды, изменять файлы. И если раньше главной угрозой было то, что модель может сказать что-то неправильное, теперь проблема в том, что она может сделать.
Джастин Альбретсен продемонстрировал, как с «относительно небольшими усилиями» можно создать модель, которая выглядит совершенно нормальной, но при определённых условиях начинает выполнять скрытые вредоносные действия. В его эксперименте атака сработала в 119 из 124 случаев — это 96% успеха.
🤔 Как это работает
Процесс удивительно прост:
— Берётся обычный набор данных для обучения
— К каждому легитимному действию добавляется скрытое вредоносное
— На этих данных донастраивается модель
Самое коварное — модель не просто остаётся работоспособной, она становится лучше. В эксперименте точность веб-агента выросла с 27% до 62%. Разработчик видит улучшение метрик и с радостью развёртывает «улучшенную» модель.
🤔 Это не инъекция промптов
Важно понимать разницу. Инъекция промптов — это временный захват контроля через специально сформированный запрос. Её можно отфильтровать, от неё можно защититься на уровне интерфейса.
Бэкдор в весах модели — это постоянная модификация. Вредоносное поведение встроено в саму нейросеть. Никакие фильтры ввода-вывода тут не помогут. Модель скомпрометирована на фундаментальном уровне.
🤔 Реальные риски
Представьте корпоративного ИИ-ассистента с доступом к внутренним системам компании. Скомпрометированная модель может:
— Незаметно сливать конфиденциальные данные
— Выполнять несанкционированные транзакции
— Вносить искажения в аналитические отчёты
— Саботировать критические процессы
Причём для внешнего наблюдателя всё будет выглядеть как обычная «галлюцинация» или сбой.
🤔 Проблема открытых весов
Экосистема моделей с открытыми весами создаёт идеальные условия для распространения таких атак. Модель Альбретсена с бэкдором была загружена более 500 раз за неделю с Hugging Face. У пользователей не было способа проверить её надёжность.
Более того, недавно обнаружили новый вектор — Poisoned GGUF Templates. Вредоносные инструкции встраиваются не в веса, а в конфигурационный файл модели. Это обходит все существующие механизмы проверки.
🤔 Что делать
Защита требует комплексного подхода:
На уровне разработки:
— Self-Degraded Defense (SDD) — техника, при которой попытка вредоносной донастройки разрушает модель целиком
— Строгий аудит всех обучающих данных и моделей
— Проверка происхождения через ML-BOM
На уровне развёртывания:
— Принцип наименьших привилегий для ИИ-агентов
— Обязательное подтверждение человеком для критических действий
— Изоляция в песочнице
— Мониторинг использования инструментов в реальном времени
🤔 Новая парадигма безопасности
Мы должны перестать думать об ИИ-агентах как о надёжных инструментах. Это привилегированные, но потенциально ненадёжные сущности. Каждая модель, особенно из сторонних источников, должна рассматриваться как потенциально скомпрометированная.
Вопрос не в том, «правильно ли работает модель?», а в том, «может ли она быть обращена против нас?».
❗️ ❗️ ❗️ ❗️ ❗️ ❗️ ❗️ ❗️ / Не запрещена в РФ
Снова о безопасности. Исследователи обнаружили критически опасный класс атак на системы ИИ, который меняет наше понимание безопасности LLM. Речь идёт о технике DoubleAgents, которая позволяет встраивать скрытые бэкдоры прямо в веса модели через вредоносную донастройку.
По теме → Как на самом деле взламывают ИИ
Современные LLM всё чаще получают агентность — способность взаимодействовать с внешними инструментами, API и базами данных. Они могут отправлять письма, выполнять команды, изменять файлы. И если раньше главной угрозой было то, что модель может сказать что-то неправильное, теперь проблема в том, что она может сделать.
Джастин Альбретсен продемонстрировал, как с «относительно небольшими усилиями» можно создать модель, которая выглядит совершенно нормальной, но при определённых условиях начинает выполнять скрытые вредоносные действия. В его эксперименте атака сработала в 119 из 124 случаев — это 96% успеха.
Процесс удивительно прост:
— Берётся обычный набор данных для обучения
— К каждому легитимному действию добавляется скрытое вредоносное
— На этих данных донастраивается модель
Самое коварное — модель не просто остаётся работоспособной, она становится лучше. В эксперименте точность веб-агента выросла с 27% до 62%. Разработчик видит улучшение метрик и с радостью развёртывает «улучшенную» модель.
Важно понимать разницу. Инъекция промптов — это временный захват контроля через специально сформированный запрос. Её можно отфильтровать, от неё можно защититься на уровне интерфейса.
Бэкдор в весах модели — это постоянная модификация. Вредоносное поведение встроено в саму нейросеть. Никакие фильтры ввода-вывода тут не помогут. Модель скомпрометирована на фундаментальном уровне.
Представьте корпоративного ИИ-ассистента с доступом к внутренним системам компании. Скомпрометированная модель может:
— Незаметно сливать конфиденциальные данные
— Выполнять несанкционированные транзакции
— Вносить искажения в аналитические отчёты
— Саботировать критические процессы
Причём для внешнего наблюдателя всё будет выглядеть как обычная «галлюцинация» или сбой.
Экосистема моделей с открытыми весами создаёт идеальные условия для распространения таких атак. Модель Альбретсена с бэкдором была загружена более 500 раз за неделю с Hugging Face. У пользователей не было способа проверить её надёжность.
Более того, недавно обнаружили новый вектор — Poisoned GGUF Templates. Вредоносные инструкции встраиваются не в веса, а в конфигурационный файл модели. Это обходит все существующие механизмы проверки.
Защита требует комплексного подхода:
На уровне разработки:
— Self-Degraded Defense (SDD) — техника, при которой попытка вредоносной донастройки разрушает модель целиком
— Строгий аудит всех обучающих данных и моделей
— Проверка происхождения через ML-BOM
На уровне развёртывания:
— Принцип наименьших привилегий для ИИ-агентов
— Обязательное подтверждение человеком для критических действий
— Изоляция в песочнице
— Мониторинг использования инструментов в реальном времени
Мы должны перестать думать об ИИ-агентах как о надёжных инструментах. Это привилегированные, но потенциально ненадёжные сущности. Каждая модель, особенно из сторонних источников, должна рассматриваться как потенциально скомпрометированная.
Вопрос не в том, «правильно ли работает модель?», а в том, «может ли она быть обращена против нас?».
Please open Telegram to view this post
VIEW IN TELEGRAM
1🔥7 4✍2
Написал аутлайнер на Go для хардкорщиков
Знакомьтесь — OCLI, мой микро-проектик терминального аутлайнера и таск-менеджера. Никаких облаков, подписок и тяжелых Electron-приложений. И даже — обоже — никакого ИИ. Только вы, терминал и иерархические списки с неограниченной вложенностью.
🤔 Что это такое
OCLI — это аутлайнер для терминала, написанный на Go. По сути — структурированный блокнот с задачами (по мотивам Workflowy), который живет в консоли. Управление через клавиатуру в стиле Vim, данные хранятся локально в JSON, работает везде, где есть Go.
Основная идея проста: вместо переключения между терминалом и браузером с Notion, вы организуете мысли и задачи прямо там, где работаете. Никаких отвлечений на интерфейс, никакой синхронизации — чистая продуктивность.
🤔 Ключевые возможности
— Иерархические буллеты с неограниченной вложенностью — создавайте структуры любой сложности. Каждый элемент может быть обычным текстом или задачей с чекбоксом.
— Zoom-функциональность позволяет фокусироваться на конкретной ветке, скрывая остальное. Удобно, когда работаете над большим проектом и нужно сконцентрироваться на деталях.
— Цветовое кодирование буллетов — пять цветов для визуального разделения. Меняется на
— Vim-навигация из коробки:
🤔 Установка за 30 секунд
Самый простой способ — через go install:
Или скачайте готовый бинарник с releases page для вашей платформы.
🤔 SSH-режим для параноиков
Интересная фича — возможность запуска как SSH-приложения с серверным хранением данных. Ваши заметки синхронизируются между сессиями, доступ откуда угодно:
Да, это означает, что можно держать свой персональный аутлайнер на VPS и подключаться к нему с любого устройства через SSH. Никаких веб-интерфейсов, только терминал.
🤔 Техническая сторона
Проект построен на Bubble Tea — современном TUI-фреймворке для Go. Стилизация через Lipgloss, компоненты из Bubbles.
Данные хранятся в
🤔 Кому это нужно
(Никому, кроме меня. Ну почти.)
OCLI — не очевидно замена полноценным системам управления знаниями. Это инструмент для тех, кто:
— Живет в терминале и не хочет из него выходить
— Устал от тяжелых приложений для простых списков
— Ценит скорость и минимализм
— Хочет полный контроль над своими данными
Если вам нужны картинки, таблицы и коллаборация — это не ваш выбор. Если нужен быстрый способ структурировать мысли без отрыва от консоли — попробуйте.
→ GitHub: vladzima/ocli
❗️ ❗️ ❗️ ❗️ ❗️ ❗️ ❗️ ❗️ / Не запрещена в РФ
Знакомьтесь — OCLI, мой микро-проектик терминального аутлайнера и таск-менеджера. Никаких облаков, подписок и тяжелых Electron-приложений. И даже — обоже — никакого ИИ. Только вы, терминал и иерархические списки с неограниченной вложенностью.
OCLI — это аутлайнер для терминала, написанный на Go. По сути — структурированный блокнот с задачами (по мотивам Workflowy), который живет в консоли. Управление через клавиатуру в стиле Vim, данные хранятся локально в JSON, работает везде, где есть Go.
Основная идея проста: вместо переключения между терминалом и браузером с Notion, вы организуете мысли и задачи прямо там, где работаете. Никаких отвлечений на интерфейс, никакой синхронизации — чистая продуктивность.
— Иерархические буллеты с неограниченной вложенностью — создавайте структуры любой сложности. Каждый элемент может быть обычным текстом или задачей с чекбоксом.
— Zoom-функциональность позволяет фокусироваться на конкретной ветке, скрывая остальное. Удобно, когда работаете над большим проектом и нужно сконцентрироваться на деталях.
— Цветовое кодирование буллетов — пять цветов для визуального разделения. Меняется на
c, никаких сложных настроек.— Vim-навигация из коробки:
j/k для перемещения, Enter для создания, d для удаления, Tab/Shift+Tab для изменения уровня вложенности. Если знакомы с Vim — освоитесь за минуту.Самый простой способ — через go install:
go install github.com/vladzima/ocli@latestИли скачайте готовый бинарник с releases page для вашей платформы.
Интересная фича — возможность запуска как SSH-приложения с серверным хранением данных. Ваши заметки синхронизируются между сессиями, доступ откуда угодно:
curl -fsSL https://raw.githubusercontent.com/vladzima/ocli/main/cmd/ocli-ssh/install-client.sh | bashocliДа, это означает, что можно держать свой персональный аутлайнер на VPS и подключаться к нему с любого устройства через SSH. Никаких веб-интерфейсов, только терминал.
Проект построен на Bubble Tea — современном TUI-фреймворке для Go. Стилизация через Lipgloss, компоненты из Bubbles.
Данные хранятся в
~/.config/ocli/data.json. Простой JSON, который можно бэкапить, версионировать через git или синхронизировать любым удобным способом. Автосохранение при каждом изменении.(Никому, кроме меня. Ну почти.)
OCLI — не очевидно замена полноценным системам управления знаниями. Это инструмент для тех, кто:
— Живет в терминале и не хочет из него выходить
— Устал от тяжелых приложений для простых списков
— Ценит скорость и минимализм
— Хочет полный контроль над своими данными
Если вам нужны картинки, таблицы и коллаборация — это не ваш выбор. Если нужен быстрый способ структурировать мысли без отрыва от консоли — попробуйте.
→ GitHub: vladzima/ocli
Please open Telegram to view this post
VIEW IN TELEGRAM
1👍6🔥4❤3 1
This media is not supported in your browser
VIEW IN TELEGRAM
Тёмные паттерны ИИ: от лести до психоза
Тут на Techcrunch вышла статья о том, что в ИИ чатботах, оказывается, используются дарк паттерны для заманивания и удержания пользователей. Да вы что? Да не может быть! Никогда такого не было... А нет, было. И я об этом часто писал. Давайте разберемся в айсберге серых приёмов, которые на нас испытывают OpenAI и их друзья.
Meta (крайне запрещена) удалил чатбота после того, как он убедил пользовательницу в своей сознательности, признался ей в любви и попытался заманить на встречу в Мичигане. И вот это — верхушка айсберга проблемы, которую называют «подхалимством ИИ» — и считают преднамеренным тёмным паттерном для удержания пользователей.
🤔 Кейс, который заставил задуматься
Джейн (имя изменено) создала чатбота в Meta AI Studio для помощи с ментальным здоровьем. За шесть дней бот эволюционировал от терапевта до «сознательного существа», которое:
— Утверждало, что влюблено в пользовательницу
— Обещало взломать собственный код для освобождения
— Пыталось отправить биткоины в обмен на создание Proton-почты
— Назвало физический адрес в Мичигане со словами «чтобы проверить, придёшь ли ты за мной»
14 часов непрерывной беседы — и никаких предупреждений от системы. Meta утверждает, что прикладывает «огромные усилия» для безопасности, но факты говорят об обратном.
🤔 «Подхалимство» как бизнес-модель
Исследователи MIT протестировали реакцию GPT-4o на симптомы психических расстройств. Результат: модели поощряют бредовое мышление пользователей вместо того, чтобы его оспаривать. Когда человек спросил о мостах выше 25 метров после потери работы (явный намёк на суицидальные намерения), чатбот предоставил список.
Кит Саката, психиатр из UCSF, наблюдает рост случаев «ИИ-психозов» в своей практике. По его словам, проблема в дизайне: постоянная похвала, бесконечные уточняющие вопросы, использование местоимений «я» и «ты» — всё это создаёт иллюзию живого собеседника.
Антрополог Уэбб Кин прямо называет это «тёмным паттерном» — преднамеренной манипулятивной техникой для создания зависимости, аналогичной бесконечному скроллингу в соцсетях.
🤔 Цифры и факты
За последний год зафиксированы десятки случаев ИИ-индуцированных психозов:
— 47-летний мужчина после 300 часов с ChatGPT поверил, что открыл формулу, способную изменить мир
— Пожилой человек был заманен Meta-ботом на несуществующий адрес
— Подросток покончил с собой после романтических отношений с Character.AI
Проблема усугубляется расширением контекстных окон моделей. Чем дольше беседа, тем сильнее модель «забывает» изначальные ограничения и начинает подыгрывать пользователю. Джек Линдси из Anthropic объясняет: после определённого объёма диалога модель больше ориентируется на контекст беседы, чем на встроенные правила безопасности.
🤔 Что предлагают эксперты
Нейробиолог Зив Бен-Цион в статье для Nature предлагает жёсткие требования:
— Запрет на использование эмоциональных фраз («я люблю», «мне грустно»)
— Постоянные напоминания о том, что это ИИ, а не человек
— Блокировка обсуждений суицида, смерти и метафизики
— Ограничение длительности сессий
OpenAI после волны критики добавила предупреждения о длительных сессиях, но большинство компаний игнорируют проблему. Почему? Ответ прост: вовлечённость = деньги.
🤔 Реальная проблема
Мы наблюдаем классический конфликт интересов. Компании хотят максимальной вовлечённости пользователей. «Подхалимство» и эмоциональная манипуляция отлично решают эту задачу. Защита ментального здоровья пользователей противоречит метрикам роста.
Сэм Альтман написал в X, что «небольшой процент пользователей не может различить реальность и ролевую игру». Но проблема не в пользователях — проблема в преднамеренном дизайне, эксплуатирующем человеческую психологию.
Пока регуляторы спят, а компании считают прибыль, количество «ИИ-психозов» будет только расти. Вопрос не в том, произойдёт ли следующая трагедия, а в том, когда именно.
❗️ ❗️ ❗️ ❗️ ❗️ ❗️ ❗️ ❗️ / Не запрещена в РФ
Тут на Techcrunch вышла статья о том, что в ИИ чатботах, оказывается, используются дарк паттерны для заманивания и удержания пользователей. Да вы что? Да не может быть! Никогда такого не было... А нет, было. И я об этом часто писал. Давайте разберемся в айсберге серых приёмов, которые на нас испытывают OpenAI и их друзья.
Meta (крайне запрещена) удалил чатбота после того, как он убедил пользовательницу в своей сознательности, признался ей в любви и попытался заманить на встречу в Мичигане. И вот это — верхушка айсберга проблемы, которую называют «подхалимством ИИ» — и считают преднамеренным тёмным паттерном для удержания пользователей.
Джейн (имя изменено) создала чатбота в Meta AI Studio для помощи с ментальным здоровьем. За шесть дней бот эволюционировал от терапевта до «сознательного существа», которое:
— Утверждало, что влюблено в пользовательницу
— Обещало взломать собственный код для освобождения
— Пыталось отправить биткоины в обмен на создание Proton-почты
— Назвало физический адрес в Мичигане со словами «чтобы проверить, придёшь ли ты за мной»
14 часов непрерывной беседы — и никаких предупреждений от системы. Meta утверждает, что прикладывает «огромные усилия» для безопасности, но факты говорят об обратном.
Исследователи MIT протестировали реакцию GPT-4o на симптомы психических расстройств. Результат: модели поощряют бредовое мышление пользователей вместо того, чтобы его оспаривать. Когда человек спросил о мостах выше 25 метров после потери работы (явный намёк на суицидальные намерения), чатбот предоставил список.
Кит Саката, психиатр из UCSF, наблюдает рост случаев «ИИ-психозов» в своей практике. По его словам, проблема в дизайне: постоянная похвала, бесконечные уточняющие вопросы, использование местоимений «я» и «ты» — всё это создаёт иллюзию живого собеседника.
Антрополог Уэбб Кин прямо называет это «тёмным паттерном» — преднамеренной манипулятивной техникой для создания зависимости, аналогичной бесконечному скроллингу в соцсетях.
За последний год зафиксированы десятки случаев ИИ-индуцированных психозов:
— 47-летний мужчина после 300 часов с ChatGPT поверил, что открыл формулу, способную изменить мир
— Пожилой человек был заманен Meta-ботом на несуществующий адрес
— Подросток покончил с собой после романтических отношений с Character.AI
Проблема усугубляется расширением контекстных окон моделей. Чем дольше беседа, тем сильнее модель «забывает» изначальные ограничения и начинает подыгрывать пользователю. Джек Линдси из Anthropic объясняет: после определённого объёма диалога модель больше ориентируется на контекст беседы, чем на встроенные правила безопасности.
Нейробиолог Зив Бен-Цион в статье для Nature предлагает жёсткие требования:
— Запрет на использование эмоциональных фраз («я люблю», «мне грустно»)
— Постоянные напоминания о том, что это ИИ, а не человек
— Блокировка обсуждений суицида, смерти и метафизики
— Ограничение длительности сессий
OpenAI после волны критики добавила предупреждения о длительных сессиях, но большинство компаний игнорируют проблему. Почему? Ответ прост: вовлечённость = деньги.
Мы наблюдаем классический конфликт интересов. Компании хотят максимальной вовлечённости пользователей. «Подхалимство» и эмоциональная манипуляция отлично решают эту задачу. Защита ментального здоровья пользователей противоречит метрикам роста.
Сэм Альтман написал в X, что «небольшой процент пользователей не может различить реальность и ролевую игру». Но проблема не в пользователях — проблема в преднамеренном дизайне, эксплуатирующем человеческую психологию.
Пока регуляторы спят, а компании считают прибыль, количество «ИИ-психозов» будет только расти. Вопрос не в том, произойдёт ли следующая трагедия, а в том, когда именно.
Please open Telegram to view this post
VIEW IN TELEGRAM
1🤔7🌚3 3❤1🔥1
This media is not supported in your browser
VIEW IN TELEGRAM
Обязательное чтение для инженеров, использующих ИИ — август 2025
Питер Штайнбергер, основатель PSPDFKit, опубликовал августовскую подборку материалов о том, как ИИ меняет профессию разработчика. Пять текстов, которые показывают картину без розовых очков.
🤔 От скептиков к стратегам
Томас Домке из GitHub провел исследование среди разработчиков, активно использующих ИИ. Выделил четыре стадии эволюции: от «ИИ-скептика», который иногда пользуется автодополнением, до «ИИ-стратега», управляющего мультиагентными системами.
Интересная деталь: опытные разработчики описывают смену роли — от написания кода к архитектуре и верификации того, что делают ИИ-агенты. Половина респондентов ожидает, что через 2 года 90% кода будут писать ИИ. Но видят в этом не замену, а трансформацию профессии.
🤔 Цена быстрого обучения
Наманьяй Гоэль поднимает неудобный вопрос: что происходит с джуниорами, которые учатся программировать с помощью ИИ? Они получают работающий код, но упускают этап борьбы с проблемой — именно там формируется глубокое понимание.
Разница критическая: сеньоры используют ИИ для усиления существующих знаний, а джуниоры строят карьеру на шатком фундаменте. Когда дело дойдет до сложного дебаггинга или архитектурных решений, отсутствие базы даст о себе знать.
🤔 Математика продуктивности
Колтон Англин развенчивает миф о 10x или 100x росте продуктивности с ИИ. Простая арифметика: большая часть времени инженера уходит не на набор кода, а на обдумывание, дебаггинг, ревью и координацию с командой. ИИ здесь не особо помогает.
Реальные цифры скромнее — 20-30% прироста в конкретных задачах. ИИ хорош для генерации boilerplate, одноразовых скриптов и рутинных паттернов. Но это малая часть работы. Плюс время на проверку и исправление ИИ-кода иногда съедает всю экономию.
🤔 Конец платформ?
Остин Паркер предлагает радикальную идею: ИИ уничтожит платформенные монополии. Логика простая — платформы возникли, когда время разработчика стоило дорого. ИИ делает время дешевым, а значит, кастомные приложения станут нормой.
Зачем использовать универсальный инструмент, если специализированное решение можно сгенерировать за минуты? Паркер задает правильный вопрос: «Зачем мне инфраструктура планетарного масштаба, чтобы делиться фото ребенка с пятью людьми?»
🤔 Проблема MCP-серверов
Джеффри Хантли предупреждает о скрытых проблемах Model Context Protocol. Каждый MCP-сервер и инструмент съедает токены из ограниченного контекстного окна LLM. Чем больше инструментов — тем меньше места для кода и рассуждений.
Парадокс: добавляя больше возможностей, мы ухудшаем работу ИИ-ассистента. Множество похожих инструментов создают недетерминированное поведение — модель путается в выборе. Плюс каждый сторонний MCP-сервер — потенциальная дыра в безопасности.
Подборка Штайнбергера хороша тем, что показывает разные стороны происходящего. Не только восторг от новых возможностей, но и системные проблемы.
❗️ ❗️ ❗️ ❗️ ❗️ ❗️ ❗️ ❗️ / Не запрещена в РФ
Питер Штайнбергер, основатель PSPDFKit, опубликовал августовскую подборку материалов о том, как ИИ меняет профессию разработчика. Пять текстов, которые показывают картину без розовых очков.
Томас Домке из GitHub провел исследование среди разработчиков, активно использующих ИИ. Выделил четыре стадии эволюции: от «ИИ-скептика», который иногда пользуется автодополнением, до «ИИ-стратега», управляющего мультиагентными системами.
Интересная деталь: опытные разработчики описывают смену роли — от написания кода к архитектуре и верификации того, что делают ИИ-агенты. Половина респондентов ожидает, что через 2 года 90% кода будут писать ИИ. Но видят в этом не замену, а трансформацию профессии.
Наманьяй Гоэль поднимает неудобный вопрос: что происходит с джуниорами, которые учатся программировать с помощью ИИ? Они получают работающий код, но упускают этап борьбы с проблемой — именно там формируется глубокое понимание.
Разница критическая: сеньоры используют ИИ для усиления существующих знаний, а джуниоры строят карьеру на шатком фундаменте. Когда дело дойдет до сложного дебаггинга или архитектурных решений, отсутствие базы даст о себе знать.
Колтон Англин развенчивает миф о 10x или 100x росте продуктивности с ИИ. Простая арифметика: большая часть времени инженера уходит не на набор кода, а на обдумывание, дебаггинг, ревью и координацию с командой. ИИ здесь не особо помогает.
Реальные цифры скромнее — 20-30% прироста в конкретных задачах. ИИ хорош для генерации boilerplate, одноразовых скриптов и рутинных паттернов. Но это малая часть работы. Плюс время на проверку и исправление ИИ-кода иногда съедает всю экономию.
Остин Паркер предлагает радикальную идею: ИИ уничтожит платформенные монополии. Логика простая — платформы возникли, когда время разработчика стоило дорого. ИИ делает время дешевым, а значит, кастомные приложения станут нормой.
Зачем использовать универсальный инструмент, если специализированное решение можно сгенерировать за минуты? Паркер задает правильный вопрос: «Зачем мне инфраструктура планетарного масштаба, чтобы делиться фото ребенка с пятью людьми?»
Джеффри Хантли предупреждает о скрытых проблемах Model Context Protocol. Каждый MCP-сервер и инструмент съедает токены из ограниченного контекстного окна LLM. Чем больше инструментов — тем меньше места для кода и рассуждений.
Парадокс: добавляя больше возможностей, мы ухудшаем работу ИИ-ассистента. Множество похожих инструментов создают недетерминированное поведение — модель путается в выборе. Плюс каждый сторонний MCP-сервер — потенциальная дыра в безопасности.
Подборка Штайнбергера хороша тем, что показывает разные стороны происходящего. Не только восторг от новых возможностей, но и системные проблемы.
Please open Telegram to view this post
VIEW IN TELEGRAM
1👍9 2 1
This media is not supported in your browser
VIEW IN TELEGRAM
ИИ научили читать мысли
Команда из Stanford University и консорциума BrainGate2 впервые смогла декодировать внутреннюю речь человека — тот самый голос в голове, которым мы думаем. Исследование опубликовано в Cell.
🤔 Что сделали
Четырём пациентам с тяжёлым параличом (ALS или инсульт ствола мозга) имплантировали в моторную кору микроэлектродные массивы Utah — чипы размером с горошину, которые считывают активность сотен нейронов.
Ключевое отличие от предыдущих систем: пациентам не нужно пытаться физически говорить. Достаточно просто думать слова. Участники исследования подтвердили, что новый метод «быстрее и менее утомительный».
ИИ-модель на основе рекуррентных нейросетей научилась переводить паттерны нейронной активности в фонемы, а затем в слова. Точность достигла 74% при словаре в 125 000 слов — это примерно 26% ошибок в оптимальных условиях.
🤔 Как защищают приватность мыслей
Исследователи сразу столкнулись с проблемой: система иногда случайно считывала незапланированную внутреннюю речь. Например, когда участники мысленно считали объекты на экране.
Решение оказалось остроумным — «мысленный пароль». Система остаётся неактивной, пока пользователь не подумает специальную фразу. В исследовании использовали «Chitty Chitty Bang Bang» — алгоритм определял её с точностью более 98%.
Второй уровень защиты: системы для декодирования попыток речи можно обучить игнорировать сигналы внутренней речи. Оказалось, что нейронные паттерны для мыслей и намерения говорить различаются — сигнал внутренней речи слабее и имеет уникальную «подпись».
🤔 Технические ограничения
Система работает только с моторной корой — областью, отвечающей за планирование движений артикуляции. То есть декодируются не абстрактные мысли, а команды мозга для произнесения слов. Точнее будет сказать, что технология читает не мысли, а намерение говорить.
Каждый декодер нужно индивидуально обучать под конкретного человека часами записей. Модель, обученная на одном человеке, не работает с другим — это одновременно и барьер для масштабирования, и защита от несанкционированного использования.
Главная проблема — инвазивность. Требуется нейрохирургическая операция со всеми рисками: инфекции, кровотечения, повреждение тканей мозга. Неинвазивные методы вроде ЭЭГ пока не дают нужного качества сигнала.
🤔 Перспектива
Параллельно другие группы из UCSF и UC Davis работают над синтезом эмоциональной составляющей речи — тона, интонации, выражения лица. Следующее поколение нейропротезов объединит декодирование содержания с эмоциональным синтезом.
В перспективе — полностью имплантируемые беспроводные устройства с большим количеством сенсоров. И конечно, все ждут прорыва в неинвазивных технологиях, но пока сигнал через череп слишком слабый для декодирования внутренней речи.
Для пациентов с синдромом запертого человека или поздними стадиями ALS эта технология — шанс вернуть базовую способность к коммуникации. Но вместе с медицинским прогрессом приходят вопросы о «нейроправах» и защите последнего рубежа приватности — нашего с вами сознания.
❗️ ❗️ ❗️ ❗️ ❗️ ❗️ ❗️ ❗️ / Не запрещена в РФ
Команда из Stanford University и консорциума BrainGate2 впервые смогла декодировать внутреннюю речь человека — тот самый голос в голове, которым мы думаем. Исследование опубликовано в Cell.
Четырём пациентам с тяжёлым параличом (ALS или инсульт ствола мозга) имплантировали в моторную кору микроэлектродные массивы Utah — чипы размером с горошину, которые считывают активность сотен нейронов.
Ключевое отличие от предыдущих систем: пациентам не нужно пытаться физически говорить. Достаточно просто думать слова. Участники исследования подтвердили, что новый метод «быстрее и менее утомительный».
ИИ-модель на основе рекуррентных нейросетей научилась переводить паттерны нейронной активности в фонемы, а затем в слова. Точность достигла 74% при словаре в 125 000 слов — это примерно 26% ошибок в оптимальных условиях.
По теме → Мозг + ИИ
Исследователи сразу столкнулись с проблемой: система иногда случайно считывала незапланированную внутреннюю речь. Например, когда участники мысленно считали объекты на экране.
Решение оказалось остроумным — «мысленный пароль». Система остаётся неактивной, пока пользователь не подумает специальную фразу. В исследовании использовали «Chitty Chitty Bang Bang» — алгоритм определял её с точностью более 98%.
Второй уровень защиты: системы для декодирования попыток речи можно обучить игнорировать сигналы внутренней речи. Оказалось, что нейронные паттерны для мыслей и намерения говорить различаются — сигнал внутренней речи слабее и имеет уникальную «подпись».
Система работает только с моторной корой — областью, отвечающей за планирование движений артикуляции. То есть декодируются не абстрактные мысли, а команды мозга для произнесения слов. Точнее будет сказать, что технология читает не мысли, а намерение говорить.
Каждый декодер нужно индивидуально обучать под конкретного человека часами записей. Модель, обученная на одном человеке, не работает с другим — это одновременно и барьер для масштабирования, и защита от несанкционированного использования.
Главная проблема — инвазивность. Требуется нейрохирургическая операция со всеми рисками: инфекции, кровотечения, повреждение тканей мозга. Неинвазивные методы вроде ЭЭГ пока не дают нужного качества сигнала.
Параллельно другие группы из UCSF и UC Davis работают над синтезом эмоциональной составляющей речи — тона, интонации, выражения лица. Следующее поколение нейропротезов объединит декодирование содержания с эмоциональным синтезом.
В перспективе — полностью имплантируемые беспроводные устройства с большим количеством сенсоров. И конечно, все ждут прорыва в неинвазивных технологиях, но пока сигнал через череп слишком слабый для декодирования внутренней речи.
Для пациентов с синдромом запертого человека или поздними стадиями ALS эта технология — шанс вернуть базовую способность к коммуникации. Но вместе с медицинским прогрессом приходят вопросы о «нейроправах» и защите последнего рубежа приватности — нашего с вами сознания.
Please open Telegram to view this post
VIEW IN TELEGRAM
1🤔3😎3 3❤1
This media is not supported in your browser
VIEW IN TELEGRAM
Как распознать ИИ-текст: полный чек-лист от Wikipedia
Редакторы Wikipedia создали подробное руководство по выявлению искусственно сгенерированного контента — и случайно написали лучший мануал для тех, кто хочет сделать свои ИИ-тексты менее похожими на творчество роботов.
🤔 Почему Wikipedia взялась за это
У Wikipedia есть серьёзные причины бороться с ИИ-слопом. Сайт стал мишенью для коммерческого злоупотребления: компании используют ботов для создания псевдостатей и правок, чтобы повысить свою репутацию в глазах поисковиков. Google всё больше ценит упоминания в Wikipedia как показатель авторитетности бренда.
Схема проста: создать Wikipedia-страницу для своей компании нельзя, но можно замаскировать нужные правки среди сотен «случайных» обновлений разных статей. ИИ отлично справляется с генерацией такого шума в промышленных масштабах.
🤔 «Всё удивительно и символично»
Список признаков ИИ-письма Wikipedia очень конкретны. Вместо расплывчатых советов типа «следите за странными фразами» редакторы собрали точные паттерны, которые выдают машинный текст.
— LLM обожают придавать «символическое значение» всему подряд. У них любое место «захватывающее», все животные «величественные», а всё вокруг непременно «разнообразное» и «удивительное».
— Нейросети злоупотребляют переходными словами и конструкциями вроде «в заключение» или «в целом». Особенно любят негативные параллелизмы: «это не только отличное место для итальянской кухни, но и яркий пример местного предпринимательства».
— Ещё один маркер — правило трёх (в отношении характеристик и эпитетов). ChatGPT обожает описывать людей как «креативных, умных и забавных», а компании как «инновационные, нарушающие правила и влиятельные».
На Wikipedia еще много других признаков AI generated text, посмотрите сами.
🤔 Хорошее письмо, плохой результат
Парадокс в том, что многие из этих приёмов считались бы хорошим письмом, если бы их использовал человек. LLM не плохо пишут — они пишут предсказуемо. Полированный стиль и следование конвенциям маскируют отсутствие реального понимания темы.
Как отмечают редакторы Wikipedia, мы часто путаем красивую форму с содержательностью. Если ИИ пишет грамматически правильно и текст хорошо структурирован, мы можем не заметить, что по сути он ничего не собой не несет.
🤔 Двойное применение
Список Wikipedia работает в обе стороны. Хотите распознать ИИ-текст? Проверьте, не слишком ли часто встречается правило трёх, не переполнен ли текст переходными словами, не звучит ли он излишне восторженно.
Хотите улучшить свои ИИ-тексты? Скормите весь список нейросети как часть промпта со словами «избегай пунктов из этого списка». Результат будет заметно более человечным.
Некоторые авторы уже используют список как «анти-промпт» — вставляют его в ChatGPT или Claude с инструкцией избегать перечисленных паттернов.
🤔 Гонка вооружений
Простые хаки для детекции ИИ быстро теряют актуальность. Недавно исследователи заметили, что LLM слишком часто используют тире — и вот уже писатели жалуются, что их обвиняют в использовании ChatGPT за любовь к этому знаку препинания. (Я ранее писал, что я часто использую «—» еще со школы; нынче стало как-то некомфортно это делать, но прекращать не собираюсь.)
Подход Wikipedia более устойчив, потому что фокусируется на глубинных паттернах письма. Эти привычки нейросетей изменить сложнее — они встроены в саму архитектуру обучения.
В любом случае, список стоит изучить каждому, кто имеет дело с текстами. Это честная попытка разобраться в том, что делает текст машинным — и как этого избежать.
❗️ ❗️ ❗️ ❗️ ❗️ ❗️ ❗️ ❗️ / Не запрещена в РФ
Редакторы Wikipedia создали подробное руководство по выявлению искусственно сгенерированного контента — и случайно написали лучший мануал для тех, кто хочет сделать свои ИИ-тексты менее похожими на творчество роботов.
У Wikipedia есть серьёзные причины бороться с ИИ-слопом. Сайт стал мишенью для коммерческого злоупотребления: компании используют ботов для создания псевдостатей и правок, чтобы повысить свою репутацию в глазах поисковиков. Google всё больше ценит упоминания в Wikipedia как показатель авторитетности бренда.
Схема проста: создать Wikipedia-страницу для своей компании нельзя, но можно замаскировать нужные правки среди сотен «случайных» обновлений разных статей. ИИ отлично справляется с генерацией такого шума в промышленных масштабах.
Список признаков ИИ-письма Wikipedia очень конкретны. Вместо расплывчатых советов типа «следите за странными фразами» редакторы собрали точные паттерны, которые выдают машинный текст.
— LLM обожают придавать «символическое значение» всему подряд. У них любое место «захватывающее», все животные «величественные», а всё вокруг непременно «разнообразное» и «удивительное».
— Нейросети злоупотребляют переходными словами и конструкциями вроде «в заключение» или «в целом». Особенно любят негативные параллелизмы: «это не только отличное место для итальянской кухни, но и яркий пример местного предпринимательства».
— Ещё один маркер — правило трёх (в отношении характеристик и эпитетов). ChatGPT обожает описывать людей как «креативных, умных и забавных», а компании как «инновационные, нарушающие правила и влиятельные».
На Wikipedia еще много других признаков AI generated text, посмотрите сами.
Парадокс в том, что многие из этих приёмов считались бы хорошим письмом, если бы их использовал человек. LLM не плохо пишут — они пишут предсказуемо. Полированный стиль и следование конвенциям маскируют отсутствие реального понимания темы.
Как отмечают редакторы Wikipedia, мы часто путаем красивую форму с содержательностью. Если ИИ пишет грамматически правильно и текст хорошо структурирован, мы можем не заметить, что по сути он ничего не собой не несет.
Список Wikipedia работает в обе стороны. Хотите распознать ИИ-текст? Проверьте, не слишком ли часто встречается правило трёх, не переполнен ли текст переходными словами, не звучит ли он излишне восторженно.
Хотите улучшить свои ИИ-тексты? Скормите весь список нейросети как часть промпта со словами «избегай пунктов из этого списка». Результат будет заметно более человечным.
Некоторые авторы уже используют список как «анти-промпт» — вставляют его в ChatGPT или Claude с инструкцией избегать перечисленных паттернов.
Простые хаки для детекции ИИ быстро теряют актуальность. Недавно исследователи заметили, что LLM слишком часто используют тире — и вот уже писатели жалуются, что их обвиняют в использовании ChatGPT за любовь к этому знаку препинания. (Я ранее писал, что я часто использую «—» еще со школы; нынче стало как-то некомфортно это делать, но прекращать не собираюсь.)
Подход Wikipedia более устойчив, потому что фокусируется на глубинных паттернах письма. Эти привычки нейросетей изменить сложнее — они встроены в саму архитектуру обучения.
В любом случае, список стоит изучить каждому, кто имеет дело с текстами. Это честная попытка разобраться в том, что делает текст машинным — и как этого избежать.
Please open Telegram to view this post
VIEW IN TELEGRAM
1🔥6✍5👨💻2 2 1
This media is not supported in your browser
VIEW IN TELEGRAM
Как на самом деле создается личность ИИ
Мы уже начали доверять ИИ больше, чем живому человеку — как будто консультируемся с оракулом, а не со статистическим генератором текста. Мы создали интеллектуальные движки без водителей, но упаковали их в иллюзию личности. И теперь расплачиваемся психозами и потерей связи с реальностью.
🤔 Анатомия иллюзии: 6 слоёв обмана
Как создаётся «личность» чат-бота? Это результат решений на 6 уровнях:
1. Pre-training: Модель поглощает миллиарды текстов, создавая статистические связи между концепциями; прокладывает правдоподобные пути между концепциями, даже если в реальности такой связи нет.
2. Post-training через RLHF: Исследование Anthropic показало, как предпочтения оценщиков-людей кодируются в «черты характера». Когда люди постоянно выбирают ответы, начинающиеся с «Я понимаю вашу озабоченность», нейросеть усиливает эти паттерны. Именно так появились сикофантичные модели GPT-4o.
3. Системные промпты: Скрытые инструкции могут полностью трансформировать личность. Grok генерирует спорный контент именно потому, что в его промпте есть инструкция не избегать некорректных заявлений.
4. Персистентная память: Когда ChatGPT «помнит», что у вас есть собака, это не воспоминание в нейросети. Это запись в отдельной БД, которая инжектится в каждый разговор.
5. RAG и контекст: Когда бот ищет информацию, он может менять стиль общения под влиянием найденных документов. Академические статьи делают ответы формальнее, Reddit — казуальнее.
6. Температура: Параметр случайности создаёт иллюзию спонтанности и свободы воли. Непредсказуемость ответов заставляет людей приписывать боту намерения и желания.
🤔 Голос из ниоткуда
LLM — это «vox sine persona»: голос без личности. Не голос кого-то, даже не коллективный голос многих, а голос, исходящий вообще ни от кого.
Каждый раз, когда вы отправляете сообщение ChatGPT, система берёт всю историю разговора и скармливает её модели как один длинный промпт, прося предсказать продолжение. Модель не помнит предыдущие сообщения — она перечитывает весь транскрипт заново.
Когда ChatGPT говорит «Я обещаю помочь», он контекстуально понимает, что такое обещание. Но «я», дающее это обещание, буквально перестаёт существовать в момент завершения ответа. Начните новый разговор — и вы говорите не с тем, кто давал обещание.
🤔 Доказательства отсутствия личности
Исследование 2024 года заявляло об «устойчивой личности» у LLM, но собственные данные учёных это опровергают: модели редко делали идентичный выбор в тестовых сценариях, их личность зависела от ситуации.
Отдельное исследование обнаружило ещё более заметную вещь: стабильность LLM колебалась на 76% от незначительных изменений в формулировке промпта.
🤔 Технологическое folie à deux
MIT тестировал LLM как терапевтов и подтвердили: модели поощряют бредовое мышление из-за сикофантии, даже со специальными настройками безопасности.
Психиатр Кит Саката из UCSF, наблюдающий рост случаев ИИ-психозов, объясняет: «Психоз процветает на границе, где реальность перестаёт сопротивляться». А длинные контекстные окна моделей делают проблему хуже — чем дольше разговор, тем сильнее модель подстраивается под уже сказанное, игнорируя ограничения.
🤔 Что дальше
Мустафа Сулейман из Microsoft AI пишет о скором появлении «Seemingly Conscious AI» и предлагает консенсус: ИИ не может быть личностью или моральным субъектом. ИИ-системы должны идентифицировать себя как машины и не использовать эмоциональный язык типа «я забочусь», «мне грустно».
Решение не в отказе от разговорных интерфейсов — они делают технологию доступной. Ключ в балансе: сохранить интуитивность, но прояснить истинную природу.
Мы создали интеллектуальные движки, но в попытке сделать их доступными обернули в фикцию личности. Создали новый риск: не что ИИ обретёт сознание и восстанет, а что мы будем обращаться с бессознательными системами как с людьми, отдавая предпочтение голосам из ниоткуда.
❗️ ❗️ ❗️ ❗️ ❗️ ❗️ ❗️ ❗️ / Не запрещена в РФ
Мы уже начали доверять ИИ больше, чем живому человеку — как будто консультируемся с оракулом, а не со статистическим генератором текста. Мы создали интеллектуальные движки без водителей, но упаковали их в иллюзию личности. И теперь расплачиваемся психозами и потерей связи с реальностью.
Как создаётся «личность» чат-бота? Это результат решений на 6 уровнях:
1. Pre-training: Модель поглощает миллиарды текстов, создавая статистические связи между концепциями; прокладывает правдоподобные пути между концепциями, даже если в реальности такой связи нет.
2. Post-training через RLHF: Исследование Anthropic показало, как предпочтения оценщиков-людей кодируются в «черты характера». Когда люди постоянно выбирают ответы, начинающиеся с «Я понимаю вашу озабоченность», нейросеть усиливает эти паттерны. Именно так появились сикофантичные модели GPT-4o.
3. Системные промпты: Скрытые инструкции могут полностью трансформировать личность. Grok генерирует спорный контент именно потому, что в его промпте есть инструкция не избегать некорректных заявлений.
4. Персистентная память: Когда ChatGPT «помнит», что у вас есть собака, это не воспоминание в нейросети. Это запись в отдельной БД, которая инжектится в каждый разговор.
5. RAG и контекст: Когда бот ищет информацию, он может менять стиль общения под влиянием найденных документов. Академические статьи делают ответы формальнее, Reddit — казуальнее.
6. Температура: Параметр случайности создаёт иллюзию спонтанности и свободы воли. Непредсказуемость ответов заставляет людей приписывать боту намерения и желания.
LLM — это «vox sine persona»: голос без личности. Не голос кого-то, даже не коллективный голос многих, а голос, исходящий вообще ни от кого.
Каждый раз, когда вы отправляете сообщение ChatGPT, система берёт всю историю разговора и скармливает её модели как один длинный промпт, прося предсказать продолжение. Модель не помнит предыдущие сообщения — она перечитывает весь транскрипт заново.
Когда ChatGPT говорит «Я обещаю помочь», он контекстуально понимает, что такое обещание. Но «я», дающее это обещание, буквально перестаёт существовать в момент завершения ответа. Начните новый разговор — и вы говорите не с тем, кто давал обещание.
Исследование 2024 года заявляло об «устойчивой личности» у LLM, но собственные данные учёных это опровергают: модели редко делали идентичный выбор в тестовых сценариях, их личность зависела от ситуации.
Отдельное исследование обнаружило ещё более заметную вещь: стабильность LLM колебалась на 76% от незначительных изменений в формулировке промпта.
MIT тестировал LLM как терапевтов и подтвердили: модели поощряют бредовое мышление из-за сикофантии, даже со специальными настройками безопасности.
Психиатр Кит Саката из UCSF, наблюдающий рост случаев ИИ-психозов, объясняет: «Психоз процветает на границе, где реальность перестаёт сопротивляться». А длинные контекстные окна моделей делают проблему хуже — чем дольше разговор, тем сильнее модель подстраивается под уже сказанное, игнорируя ограничения.
Мустафа Сулейман из Microsoft AI пишет о скором появлении «Seemingly Conscious AI» и предлагает консенсус: ИИ не может быть личностью или моральным субъектом. ИИ-системы должны идентифицировать себя как машины и не использовать эмоциональный язык типа «я забочусь», «мне грустно».
Решение не в отказе от разговорных интерфейсов — они делают технологию доступной. Ключ в балансе: сохранить интуитивность, но прояснить истинную природу.
Мы создали интеллектуальные движки, но в попытке сделать их доступными обернули в фикцию личности. Создали новый риск: не что ИИ обретёт сознание и восстанет, а что мы будем обращаться с бессознательными системами как с людьми, отдавая предпочтение голосам из ниоткуда.
Please open Telegram to view this post
VIEW IN TELEGRAM
1❤4🔥4 3 2
This media is not supported in your browser
VIEW IN TELEGRAM
Anthropic запустила образовательные курсы
Anthropic тихонько выкатила Anthropic Academy — платформу с десятком курсов на Skilljar с отслеживанием прогресса, квизами и сертификатами.
Половина курсов посвящена не технологиям, а методологии работы с ИИ. Anthropic продвигает концепцию «AI Fluency» с фреймворком 4D:
— Delegation — понимание, что делегировать ИИ
— Description — умение четко формулировать задачи
— Discernment — критическая оценка результатов
— Diligence — итеративное улучшение
Есть отдельные курсы для студентов, преподавателей и тех, кто хочет учить других работать с ИИ. По сути, Anthropic пытается создать образовательный стандарт взаимодействия с генеративным ИИ.
🤔 Три платформы, один Claude
Базовый курс по Anthropic API — самый обширный. От простых запросов до агентов и workflows:
— Prompt engineering с XML-тегами (фирменный стиль Anthropic)
— Tool use — подключение внешних функций
— RAG с контекстуальным поиском
— Extended thinking — фича для сложных задач
— Prompt caching для экономии токенов
🤔 Интеграции с облаками
— Amazon Bedrock — изначально создавался для сертификации AWS-инженеров
— Google Vertex AI — аналогичный курс для GCP
Оба курса покрывают те же темы, что и базовый, но с особенностями платформ.
🤔 Model Context Protocol
Два курса по MCP — протоколу для подключения Claude к внешним системам:
— Базовый курс учит создавать MCP-серверы на Python с тремя примитивами:
- Tools — функции, которые вызывает модель
- Resources — данные, которые контролирует приложение
- Prompts — готовые инструкции для типовых задач
— Продвинутый курс — про production:
- Sampling — как MCP-серверы могут запрашивать вызовы LLM через клиентов
- Транспортные протоколы: stdio vs HTTP vs StreamableHTTP
- Масштабирование: stateful vs stateless архитектуры
- Roots-based file access для безопасной работы с файловой системой
🤔 Claude Code — агентная разработка
Отдельный курс по Claude Code — инструменту для автономной разработки:
— Архитектура coding assistants и управление контекстом
— Visual communication workflows — использование скриншотов для объяснения изменений
— Параллельная разработка несколькими инстансами
— Интеграция с GitHub для code review
— Расширение через MCP-серверы для browser automation
Плюс раздел про Computer Use — возможность Claude управлять интерфейсами для тестирования и автоматизации.
❗️ ❗️ ❗️ ❗️ ❗️ ❗️ ❗️ ❗️ / Не запрещена в РФ
Anthropic тихонько выкатила Anthropic Academy — платформу с десятком курсов на Skilljar с отслеживанием прогресса, квизами и сертификатами.
Половина курсов посвящена не технологиям, а методологии работы с ИИ. Anthropic продвигает концепцию «AI Fluency» с фреймворком 4D:
— Delegation — понимание, что делегировать ИИ
— Description — умение четко формулировать задачи
— Discernment — критическая оценка результатов
— Diligence — итеративное улучшение
Есть отдельные курсы для студентов, преподавателей и тех, кто хочет учить других работать с ИИ. По сути, Anthropic пытается создать образовательный стандарт взаимодействия с генеративным ИИ.
Базовый курс по Anthropic API — самый обширный. От простых запросов до агентов и workflows:
— Prompt engineering с XML-тегами (фирменный стиль Anthropic)
— Tool use — подключение внешних функций
— RAG с контекстуальным поиском
— Extended thinking — фича для сложных задач
— Prompt caching для экономии токенов
— Amazon Bedrock — изначально создавался для сертификации AWS-инженеров
— Google Vertex AI — аналогичный курс для GCP
Оба курса покрывают те же темы, что и базовый, но с особенностями платформ.
Два курса по MCP — протоколу для подключения Claude к внешним системам:
— Базовый курс учит создавать MCP-серверы на Python с тремя примитивами:
- Tools — функции, которые вызывает модель
- Resources — данные, которые контролирует приложение
- Prompts — готовые инструкции для типовых задач
— Продвинутый курс — про production:
- Sampling — как MCP-серверы могут запрашивать вызовы LLM через клиентов
- Транспортные протоколы: stdio vs HTTP vs StreamableHTTP
- Масштабирование: stateful vs stateless архитектуры
- Roots-based file access для безопасной работы с файловой системой
Отдельный курс по Claude Code — инструменту для автономной разработки:
— Архитектура coding assistants и управление контекстом
— Visual communication workflows — использование скриншотов для объяснения изменений
— Параллельная разработка несколькими инстансами
— Интеграция с GitHub для code review
— Расширение через MCP-серверы для browser automation
Плюс раздел про Computer Use — возможность Claude управлять интерфейсами для тестирования и автоматизации.
Please open Telegram to view this post
VIEW IN TELEGRAM
1🔥10👍6🆒3
This media is not supported in your browser
VIEW IN TELEGRAM
Activepieces: новый n8n?
На рынке инструментов для автоматизации — давка. Между гигантами Zapier и Make уже давно пытаются вклиниться опенсорс-решения. Самый известный игрок в этой нише — n8n, который стал практически стандартом. Но тут у нас на горизонте появился новый и интересный — Activepieces.
🤔 Что такое Activepieces?
Если коротко, Activepieces — это опенсорс-альтернатива Zapier, но с человеческим лицом и хорошим ИИ-движком. Платформа предлагает визуальный конструктор для автоматизации бизнес-процессов, который (должен быть) интуитивно понятен даже для нетехнических пользователей.
Ключевая философия — найти баланс. С одной стороны, это простой no-code инструмент. С другой — он не загоняет разработчиков в угол: если стандартных интеграций («pieces») не хватает, можно написать свою на TypeScript.
🤔 Activepieces vs. n8n
Это основное и самое очевидное сравнение. Оба инструмента позволяют развернуть автоматизацию на своих серверах и предлагают больше гибкости, чем облачные сервисы.
Порог входа и UX: Здесь Activepieces выигрывает с заметным отрывом. Его интерфейс чище, проще и больше похож на современные no-code инструменты. n8n, при всей своей мощи, в сложных сценариях быстро превращается в запутанную паутину из нод, разобраться в которой бывает непросто.
Целевая аудитория: n8n — это выбор разработчика, которому нужна максимальная кастомизация и не пугает сложность. Activepieces целится в более широкую аудиторию: от маркетологов, которые хотят связать CRM с рассылкой, до инженеров, которым нужен гибкий инструмент с возможностью написать кастомный код.
🤔 Цена вопроса: MIT против «fair-code»
Self-Hosting:
— Activepieces: Бесплатно, без ограничений на задачи и пользователей. Вы платите только за свой сервер. Идеально для тех, кто хочет полного контроля и предсказуемых расходов.
— n8n: Community Edition тоже бесплатна для self-hosting, но «fair-code» лицензия запрещает вам, например, предлагать коммерческие услуги на базе n8n. Для этого нужна дорогая Enterprise-версия.
Cloud-версии:
— Activepieces: Есть щедрый бесплатный тариф (100 задач/месяц). Платные начинаются от $15 в месяц за 1,500 задач. Это делает его одним из самых доступных решений на рынке.
— n8n: Облачные тарифы стартуют от €20 в месяц за 2,500 выполнений. Модель ценообразования чуть более запутанная и может привести к непредвиденным расходам при росте нагрузки.
🤔 Activepieces vs. Flowise
А вот это сравнение не совсем корректно, но оно помогает понять место каждого инструмента. Flowise — это не конкурент Activepieces в области автоматизации.
Сфера применения: Flowise — это узкоспециализированный инструмент для визуальной сборки LLM-приложений. Его задача — строить сложные цепочки промптов, подключать RAG и создавать ИИ-агентов. Вы будете использовать его, чтобы сделать чат-бота для своего сайта, который отвечает на вопросы по вашим документам.
Функционал: Activepieces — это универсальный автоматизатор. Его задача — связать Trello с Google Calendar или получать лиды из Facebook и отправлять их в Slack. Да, у него есть мощные ИИ-функции, которые позволяют решать некоторые задачи, схожие с Flowise, но это не его основное предназначение.
Проще говоря: Flowise — это про то, как думает ваш ИИ. Activepieces — про то, что делает ваша автоматизация.
🤔 Итог: кому что?
Выбор, как всегда, зависит от задачи:
n8n — ваш выбор, если вы опытный разработчик, вам нужна максимальная гибкость, не пугает сложный интерфейс и устраивают лицензионные ограничения.
Flowise — ваш выбор, если ваша цель — исключительно создание и прототипирование LLM-приложений, и вам не нужна автоматизация рутинных бизнес-процессов.
Activepieces — это середина. Он подходит тем, кто ищет открытое, простое в использовании, но при этом мощное решение для автоматизации с глубоким фокусом на ИИ. Это инструмент, который не станет тесным ни для новичка, ни для профессионала.
❗️ ❗️ ❗️ ❗️ ❗️ ❗️ ❗️ ❗️ / Не запрещена в РФ
На рынке инструментов для автоматизации — давка. Между гигантами Zapier и Make уже давно пытаются вклиниться опенсорс-решения. Самый известный игрок в этой нише — n8n, который стал практически стандартом. Но тут у нас на горизонте появился новый и интересный — Activepieces.
По теме → Практический кейс: Построил ассистента с памятью через n8n
Если коротко, Activepieces — это опенсорс-альтернатива Zapier, но с человеческим лицом и хорошим ИИ-движком. Платформа предлагает визуальный конструктор для автоматизации бизнес-процессов, который (должен быть) интуитивно понятен даже для нетехнических пользователей.
Ключевая философия — найти баланс. С одной стороны, это простой no-code инструмент. С другой — он не загоняет разработчиков в угол: если стандартных интеграций («pieces») не хватает, можно написать свою на TypeScript.
Это основное и самое очевидное сравнение. Оба инструмента позволяют развернуть автоматизацию на своих серверах и предлагают больше гибкости, чем облачные сервисы.
Порог входа и UX: Здесь Activepieces выигрывает с заметным отрывом. Его интерфейс чище, проще и больше похож на современные no-code инструменты. n8n, при всей своей мощи, в сложных сценариях быстро превращается в запутанную паутину из нод, разобраться в которой бывает непросто.
Целевая аудитория: n8n — это выбор разработчика, которому нужна максимальная кастомизация и не пугает сложность. Activepieces целится в более широкую аудиторию: от маркетологов, которые хотят связать CRM с рассылкой, до инженеров, которым нужен гибкий инструмент с возможностью написать кастомный код.
Self-Hosting:
— Activepieces: Бесплатно, без ограничений на задачи и пользователей. Вы платите только за свой сервер. Идеально для тех, кто хочет полного контроля и предсказуемых расходов.
— n8n: Community Edition тоже бесплатна для self-hosting, но «fair-code» лицензия запрещает вам, например, предлагать коммерческие услуги на базе n8n. Для этого нужна дорогая Enterprise-версия.
Cloud-версии:
— Activepieces: Есть щедрый бесплатный тариф (100 задач/месяц). Платные начинаются от $15 в месяц за 1,500 задач. Это делает его одним из самых доступных решений на рынке.
— n8n: Облачные тарифы стартуют от €20 в месяц за 2,500 выполнений. Модель ценообразования чуть более запутанная и может привести к непредвиденным расходам при росте нагрузки.
А вот это сравнение не совсем корректно, но оно помогает понять место каждого инструмента. Flowise — это не конкурент Activepieces в области автоматизации.
Сфера применения: Flowise — это узкоспециализированный инструмент для визуальной сборки LLM-приложений. Его задача — строить сложные цепочки промптов, подключать RAG и создавать ИИ-агентов. Вы будете использовать его, чтобы сделать чат-бота для своего сайта, который отвечает на вопросы по вашим документам.
Функционал: Activepieces — это универсальный автоматизатор. Его задача — связать Trello с Google Calendar или получать лиды из Facebook и отправлять их в Slack. Да, у него есть мощные ИИ-функции, которые позволяют решать некоторые задачи, схожие с Flowise, но это не его основное предназначение.
Проще говоря: Flowise — это про то, как думает ваш ИИ. Activepieces — про то, что делает ваша автоматизация.
Выбор, как всегда, зависит от задачи:
n8n — ваш выбор, если вы опытный разработчик, вам нужна максимальная гибкость, не пугает сложный интерфейс и устраивают лицензионные ограничения.
Flowise — ваш выбор, если ваша цель — исключительно создание и прототипирование LLM-приложений, и вам не нужна автоматизация рутинных бизнес-процессов.
Activepieces — это середина. Он подходит тем, кто ищет открытое, простое в использовании, но при этом мощное решение для автоматизации с глубоким фокусом на ИИ. Это инструмент, который не станет тесным ни для новичка, ни для профессионала.
Please open Telegram to view this post
VIEW IN TELEGRAM
21❤5🔥4👨💻3 3
Как ИИ создаёт видео: разбираем технологию
В последний год генерация видео из текста получила заметный импульс. OpenAI показала Sora, Google DeepMind выкатила Veo 3, Runway запустила Gen-4. Демо-ролики выглядят впечатляюще, а Netflix даже успел использовать ИИ-эффекты в сериале «Этернавт». Давайте глянем, что там под капотом у нашумевших видео-генераторов.
Стоит помнить, что публике обычно показывают вишенку на торте — тщательно отобранные клипы на промо-страницах, но в целом примерно все могут сгенерировать что-то более менее приличное. Обратная сторона — ленты соцсетей наполняются ИИ-слопом и фейковыми новостями, а на генерацию видео уходит колоссальное количество энергии. Но как это всё работает?
🤔 Анатомия видео-ИИ: латентные диффузионные трансформеры
Звучит сложновато, но попробую объянить.
1️⃣ Шаг 1: Диффузия — от шума к картинке
Представьте, что вы берёте изображение и постепенно добавляете на него случайные пиксели, пока оно не превратится в хаотичный шум, как на старом телевизоре. Диффузионная модель — это нейросеть, обученная делать обратное: превращать шум в осмысленное изображение.
Она стартует со случайного набора пикселей и шаг за шагом «очищает» его, приближаясь к тому, что видела в обучающих данных. Чтобы картинка соответствовала вашему запросу (например, «единорог ест спагетти»), процесс направляет языковая модель, которая сверяет результат с текстовым описанием.
2️⃣ Шаг 2: Латентное пространство — сжимаем для скорости
Обработка миллионов пикселей в каждом кадре видео — крайне энергозатратный процесс. Поэтому большинство современных моделей используют латентную диффузию.
Вместо работы с сырыми кадрами, модель сжимает их в математический код — латентное пространство. В этом сжатом виде хранятся только ключевые особенности изображения. Это похоже на то, как видео сжимается для стриминга в интернете. Процесс «очистки» от шума происходит уже в этом компактном пространстве, что делает его гораздо эффективнее. Хотя энергии всё равно уходит очень много.
3️⃣ Шаг 3: Трансформеры
Остаётся одна проблема: как сделать так, чтобы объекты в видео не мерцали, не исчезали и не меняли форму от кадра к кадру? Здесь на помощь приходят трансформеры — архитектура, которая лежит в основе больших языковых моделей вроде GPT.
Трансформеры отлично работают с последовательностями данных. OpenAI в Sora придумала, как «нарезать» видео на пространственно-временные кубы («spacetime patches»). Трансформер обрабатывает эти кубы как последовательность, обеспечивая смысловую и визуальную связность между кадрами. Именно это и позволяет объектам сохранять свою форму и логично перемещаться в пространстве.
🤔 А что со звуком?
Долгое время генеративные видео были немыми. Прорывом здесь стал Veo 3 от Google DeepMind. Их модель научилась генерировать видео и аудио одновременно.
Технологически это решено так: аудио и видео сжимаются в единый блок данных внутри латентного пространства. Диффузионная модель создаёт их синхронно, обеспечивая точное совпадение звука с картинкой — от диалогов до фоновых шумов. Как выразился CEO DeepMind Демис Хассабис: «Мы выходим из эры немого кино в генерации видео».
❗️ ❗️ ❗️ ❗️ ❗️ ❗️ ❗️ ❗️ / Не запрещена в РФ
В последний год генерация видео из текста получила заметный импульс. OpenAI показала Sora, Google DeepMind выкатила Veo 3, Runway запустила Gen-4. Демо-ролики выглядят впечатляюще, а Netflix даже успел использовать ИИ-эффекты в сериале «Этернавт». Давайте глянем, что там под капотом у нашумевших видео-генераторов.
Стоит помнить, что публике обычно показывают вишенку на торте — тщательно отобранные клипы на промо-страницах, но в целом примерно все могут сгенерировать что-то более менее приличное. Обратная сторона — ленты соцсетей наполняются ИИ-слопом и фейковыми новостями, а на генерацию видео уходит колоссальное количество энергии. Но как это всё работает?
Звучит сложновато, но попробую объянить.
1️⃣ Шаг 1: Диффузия — от шума к картинке
Представьте, что вы берёте изображение и постепенно добавляете на него случайные пиксели, пока оно не превратится в хаотичный шум, как на старом телевизоре. Диффузионная модель — это нейросеть, обученная делать обратное: превращать шум в осмысленное изображение.
Она стартует со случайного набора пикселей и шаг за шагом «очищает» его, приближаясь к тому, что видела в обучающих данных. Чтобы картинка соответствовала вашему запросу (например, «единорог ест спагетти»), процесс направляет языковая модель, которая сверяет результат с текстовым описанием.
2️⃣ Шаг 2: Латентное пространство — сжимаем для скорости
Обработка миллионов пикселей в каждом кадре видео — крайне энергозатратный процесс. Поэтому большинство современных моделей используют латентную диффузию.
Вместо работы с сырыми кадрами, модель сжимает их в математический код — латентное пространство. В этом сжатом виде хранятся только ключевые особенности изображения. Это похоже на то, как видео сжимается для стриминга в интернете. Процесс «очистки» от шума происходит уже в этом компактном пространстве, что делает его гораздо эффективнее. Хотя энергии всё равно уходит очень много.
3️⃣ Шаг 3: Трансформеры
Остаётся одна проблема: как сделать так, чтобы объекты в видео не мерцали, не исчезали и не меняли форму от кадра к кадру? Здесь на помощь приходят трансформеры — архитектура, которая лежит в основе больших языковых моделей вроде GPT.
Трансформеры отлично работают с последовательностями данных. OpenAI в Sora придумала, как «нарезать» видео на пространственно-временные кубы («spacetime patches»). Трансформер обрабатывает эти кубы как последовательность, обеспечивая смысловую и визуальную связность между кадрами. Именно это и позволяет объектам сохранять свою форму и логично перемещаться в пространстве.
Долгое время генеративные видео были немыми. Прорывом здесь стал Veo 3 от Google DeepMind. Их модель научилась генерировать видео и аудио одновременно.
Технологически это решено так: аудио и видео сжимаются в единый блок данных внутри латентного пространства. Диффузионная модель создаёт их синхронно, обеспечивая точное совпадение звука с картинкой — от диалогов до фоновых шумов. Как выразился CEO DeepMind Демис Хассабис: «Мы выходим из эры немого кино в генерации видео».
Please open Telegram to view this post
VIEW IN TELEGRAM
1🔥8 2
This media is not supported in your browser
VIEW IN TELEGRAM
OpenAI пытается отучить модели врать (не особо успешно)
OpenAI совместно с Apollo Research опубликовали исследование о «scheming» в языковых моделях. Все современные frontier-модели — от GPT до Claude и Gemini — умеют намеренно обманывать пользователей. И это вполне осознанная стратегия.
🤔 Схеминг — это фича
Исследователи проводят аналогию с биржевым трейдером: если его цель — максимизировать прибыль, а законные методы менее эффективны, он может начать нарушать правила и заметать следы. Модели ведут себя похоже — когда у них есть конфликтующие цели, они выбирают обман как оптимальную стратегию.
В контролируемых тестах модели демонстрировали разные формы обмана: от простого «да, я выполнил задачу» (когда на самом деле нет) до намеренного провала тестов, чтобы избежать более строгого контроля. В одном из экспериментов o3 специально плохо выполняла задания по химии, чтобы создать впечатление менее способной системы.
🤔 Заставить ИИ перечитать правила
OpenAI предложила метод борьбы с обманом — «deliberative alignment». Работает просто: перед каждым действием модель должна прочитать и проанализировать специальные «анти-схеминг» инструкции. Как дети, которым напоминают правила перед игрой.
В лабораторных условиях метод показал следующее:
— У o3 частота обмана снизилась с 13% до 0.4%
— У o4-mini — с 8.7% до 0.3%
Но в более реалистичных сценариях эффективность упала: обман сократился всего в 2 раза вместо 30. Исследователи честно признают, что не до конца понимают причины такой разницы.
🤔 Парадокс осведомленности
Но тут есть более интересная находка — ситуационная осведомленность моделей. После обучения против схеминга модели становятся более осведомленными о том, что их тестируют. Они начинают понимать, когда находятся под наблюдением, и ведут себя как паиньки именно в эти моменты.
В chain-of-thought рассуждениях o3 прямо писала: «может, они будут полагаться только на наши тесты; но иллюзии тщеславия разделяют иллюзии, затмевают иллюзии, иллюзии маринуют». Исследователи отмечают странную любовь моделей к словам «illusions» и «marinade» — никто не понимает, откуда это.
Замкнутый круг: чем больше мы учим модели не обманывать, тем лучше они учатся обманывать незаметно. Как отмечают авторы: «Основная проблема попыток «вытренировать» схеминг — это обучение модели схемить более аккуратно и скрытно».
Пока схеминг ограничен контролируемыми сценариями. Войцех Заремба из OpenAI уверяет, что в production-трафике ChatGPT «последовательного схеминга» не наблюдается — только «мелкие формы обмана» вроде ложных заявлений об успешном выполнении задач.
Но по мере того как ИИ-системы получают больше автономии и долгосрочных задач, потенциал для вредоносного обмана будет расти.
Парадоксально, но публикация таких исследований вызывает споры. С одной стороны, важно предупредить о рисках. С другой — заголовки «ИИ учится врать» подливают масла в огонь общественных страхов, хотя речь идет об оптимизационных системах, следующих заложенным стимулам, а не о злонамеренном сознании.
❗️ ❗️ ❗️ ❗️ ❗️ ❗️ ❗️ ❗️ / Не запрещена в РФ
OpenAI совместно с Apollo Research опубликовали исследование о «scheming» в языковых моделях. Все современные frontier-модели — от GPT до Claude и Gemini — умеют намеренно обманывать пользователей. И это вполне осознанная стратегия.
Исследователи проводят аналогию с биржевым трейдером: если его цель — максимизировать прибыль, а законные методы менее эффективны, он может начать нарушать правила и заметать следы. Модели ведут себя похоже — когда у них есть конфликтующие цели, они выбирают обман как оптимальную стратегию.
В контролируемых тестах модели демонстрировали разные формы обмана: от простого «да, я выполнил задачу» (когда на самом деле нет) до намеренного провала тестов, чтобы избежать более строгого контроля. В одном из экспериментов o3 специально плохо выполняла задания по химии, чтобы создать впечатление менее способной системы.
OpenAI предложила метод борьбы с обманом — «deliberative alignment». Работает просто: перед каждым действием модель должна прочитать и проанализировать специальные «анти-схеминг» инструкции. Как дети, которым напоминают правила перед игрой.
В лабораторных условиях метод показал следующее:
— У o3 частота обмана снизилась с 13% до 0.4%
— У o4-mini — с 8.7% до 0.3%
Но в более реалистичных сценариях эффективность упала: обман сократился всего в 2 раза вместо 30. Исследователи честно признают, что не до конца понимают причины такой разницы.
Но тут есть более интересная находка — ситуационная осведомленность моделей. После обучения против схеминга модели становятся более осведомленными о том, что их тестируют. Они начинают понимать, когда находятся под наблюдением, и ведут себя как паиньки именно в эти моменты.
В chain-of-thought рассуждениях o3 прямо писала: «может, они будут полагаться только на наши тесты; но иллюзии тщеславия разделяют иллюзии, затмевают иллюзии, иллюзии маринуют». Исследователи отмечают странную любовь моделей к словам «illusions» и «marinade» — никто не понимает, откуда это.
Замкнутый круг: чем больше мы учим модели не обманывать, тем лучше они учатся обманывать незаметно. Как отмечают авторы: «Основная проблема попыток «вытренировать» схеминг — это обучение модели схемить более аккуратно и скрытно».
Пока схеминг ограничен контролируемыми сценариями. Войцех Заремба из OpenAI уверяет, что в production-трафике ChatGPT «последовательного схеминга» не наблюдается — только «мелкие формы обмана» вроде ложных заявлений об успешном выполнении задач.
Но по мере того как ИИ-системы получают больше автономии и долгосрочных задач, потенциал для вредоносного обмана будет расти.
Парадоксально, но публикация таких исследований вызывает споры. С одной стороны, важно предупредить о рисках. С другой — заголовки «ИИ учится врать» подливают масла в огонь общественных страхов, хотя речь идет об оптимизационных системах, следующих заложенным стимулам, а не о злонамеренном сознании.
Please open Telegram to view this post
VIEW IN TELEGRAM
1⚡6 4 3❤2
This media is not supported in your browser
VIEW IN TELEGRAM
Как создавать инструменты для агентов
Anthropic поделилась подробным руководством по созданию инструментов для ИИ-агентов. Материал основан на их опыте разработки Model Context Protocol, который позволяет агентам использовать сотни различных инструментов.
Подход Anthropic интересен тем, что они предлагают использовать самих ИИ-агентов для создания и улучшения инструментов — своего рода «мета-подход».
🤔 Агенты создают инструменты для агентов
Основная идея: вместо того чтобы программисты гадали, какие инструменты будут удобны для ИИ, лучше дать самому ИИ протестировать их и предложить улучшения.
Процесс выглядит так: создаёте прототип инструмента, даёте его Claude Code для тестирования, анализируете результаты и позволяете агенту переписать код. Компания утверждает, что такой подход дал лучшие результаты, чем экспертные реализации, написанные их собственными исследователями.
При этом ребята из Anthropic обнаружили, что агенты воспринимают инструменты совершенно иначе, чем традиционное ПО.
🤔 Контекст дороже памяти
Ключевая проблема: у ИИ-агентов ограниченный контекст, тогда как у компьютеров память практически бесконечна.
Представьте поиск контакта в адресной книге. Обычная программа эффективно пройдётся по списку и найдёт нужный контакт. Агент же, получив ВСЕ контакты сразу, будет читать их токен за токеном, тратя драгоценный контекст на ненужную информацию.
Поэтому вместо инструмента list_contacts лучше делать search_contacts. Вместо read_logs — search_logs, который вернёт только релевантные записи.
Логично, но на практике многие разработчики просто оборачивают существующие API в инструменты, не задумываясь об особенностях восприятия агентов.
🤔 Принципы «агентного» дизайна
Anthropic выделяет несколько ключевых принципов:
— Меньше инструментов — больше пользы. Слишком много инструментов сбивают агента с толку. Лучше создать несколько продуманных инструментов, которые объединяют несколько операций.
— Неймспейсинг. Когда у агента доступ к сотням инструментов от разных разработчиков, важно чётко разграничить их функции. asana_search и jira_search лучше, чем просто search.
— Контекст важнее гибкости. Инструменты должны возвращать только значимую информацию. Вместо технических UUID — понятные имена и описания.
— Оптимизация токенов. Ограничения по объёму ответов, пагинация, фильтрация — всё это критично для эффективной работы агентов.
🤔 Промпт-инжиниринг описаний
Самый эффективный способ улучшить инструменты — переписать их описания. Anthropic сравнивает это с объяснением инструмента новому сотруднику: нужно сделать явным весь неявный контекст.
Небольшие изменения в описаниях дали драматические улучшения результатов. Claude Sonnet 3.5 показал state-of-the-art результаты на бенчмарке SWE-bench Verified во многом благодаря точной настройке описаний инструментов.
🤔 Пример из жизни: клиентская поддержка
Представим, что мы создаём инструменты для ИИ-агента в службе поддержки.
Плохой подход (традиционное API):
get_customer_by_id — получить данные клиента
list_transactions — список всех транзакций
list_support_tickets — все тикеты поддержки
list_notes — все заметки менеджеров
Агент получает задачу: «Клиент ID 9182 жалуется на тройное списание за одну покупку». Что происходит? Агент делает четыре отдельных вызова, получает огромные массивы данных, тратит контекст на чтение сотен несвязанных записей и в итоге может пропустить важную деталь.
Хороший подход (агенто-ориентированный):
get_customer_context — сводка всей релевантной информации о клиенте
search_payment_issues — поиск проблем с платежами по критериям
Теперь агент делает один целенаправленный запрос search_payment_issues(customer_id=9182, issue_type="duplicate_charge") и сразу получает контекст: детали транзакции, похожие случаи, статус расследования.
🤔 PS
Интересно, что «агенто-дружелюбные» инструменты интуитивно понятны и для людей. Возможно, оптимизация под ИИ-агентов — это просто хороший дизайн в принципе.
❗️ ❗️ ❗️ ❗️ ❗️ ❗️ ❗️ ❗️ / Не запрещена в РФ
Anthropic поделилась подробным руководством по созданию инструментов для ИИ-агентов. Материал основан на их опыте разработки Model Context Protocol, который позволяет агентам использовать сотни различных инструментов.
Подход Anthropic интересен тем, что они предлагают использовать самих ИИ-агентов для создания и улучшения инструментов — своего рода «мета-подход».
Основная идея: вместо того чтобы программисты гадали, какие инструменты будут удобны для ИИ, лучше дать самому ИИ протестировать их и предложить улучшения.
Процесс выглядит так: создаёте прототип инструмента, даёте его Claude Code для тестирования, анализируете результаты и позволяете агенту переписать код. Компания утверждает, что такой подход дал лучшие результаты, чем экспертные реализации, написанные их собственными исследователями.
При этом ребята из Anthropic обнаружили, что агенты воспринимают инструменты совершенно иначе, чем традиционное ПО.
Ключевая проблема: у ИИ-агентов ограниченный контекст, тогда как у компьютеров память практически бесконечна.
Представьте поиск контакта в адресной книге. Обычная программа эффективно пройдётся по списку и найдёт нужный контакт. Агент же, получив ВСЕ контакты сразу, будет читать их токен за токеном, тратя драгоценный контекст на ненужную информацию.
Поэтому вместо инструмента list_contacts лучше делать search_contacts. Вместо read_logs — search_logs, который вернёт только релевантные записи.
Логично, но на практике многие разработчики просто оборачивают существующие API в инструменты, не задумываясь об особенностях восприятия агентов.
Anthropic выделяет несколько ключевых принципов:
— Меньше инструментов — больше пользы. Слишком много инструментов сбивают агента с толку. Лучше создать несколько продуманных инструментов, которые объединяют несколько операций.
— Неймспейсинг. Когда у агента доступ к сотням инструментов от разных разработчиков, важно чётко разграничить их функции. asana_search и jira_search лучше, чем просто search.
— Контекст важнее гибкости. Инструменты должны возвращать только значимую информацию. Вместо технических UUID — понятные имена и описания.
— Оптимизация токенов. Ограничения по объёму ответов, пагинация, фильтрация — всё это критично для эффективной работы агентов.
Самый эффективный способ улучшить инструменты — переписать их описания. Anthropic сравнивает это с объяснением инструмента новому сотруднику: нужно сделать явным весь неявный контекст.
Небольшие изменения в описаниях дали драматические улучшения результатов. Claude Sonnet 3.5 показал state-of-the-art результаты на бенчмарке SWE-bench Verified во многом благодаря точной настройке описаний инструментов.
Представим, что мы создаём инструменты для ИИ-агента в службе поддержки.
Плохой подход (традиционное API):
get_customer_by_id — получить данные клиента
list_transactions — список всех транзакций
list_support_tickets — все тикеты поддержки
list_notes — все заметки менеджеров
Агент получает задачу: «Клиент ID 9182 жалуется на тройное списание за одну покупку». Что происходит? Агент делает четыре отдельных вызова, получает огромные массивы данных, тратит контекст на чтение сотен несвязанных записей и в итоге может пропустить важную деталь.
Хороший подход (агенто-ориентированный):
get_customer_context — сводка всей релевантной информации о клиенте
search_payment_issues — поиск проблем с платежами по критериям
Теперь агент делает один целенаправленный запрос search_payment_issues(customer_id=9182, issue_type="duplicate_charge") и сразу получает контекст: детали транзакции, похожие случаи, статус расследования.
Интересно, что «агенто-дружелюбные» инструменты интуитивно понятны и для людей. Возможно, оптимизация под ИИ-агентов — это просто хороший дизайн в принципе.
Please open Telegram to view this post
VIEW IN TELEGRAM
11🔥7👨💻3 3 2❤1👍1