Очередная серия "CEO пишут письма". Для контекста, см. наезд выше на Microsoft.
Сатья Наделла о супер-интеллекте (прогиб засчитан!) как внутренней угрозе:
— В отличие от детерминированного кода, в ИИ (SI) вы не можете проследить всю цепочку принятия решения до входной информации в тренировочном датасете и весов модели.
— Для этой новой конфигурации нужна новая архитектура доверия. Гарантии провайдеров моделей не снимают ни с кого ответственности.
— Нужно инженерно отделить супер-интеллект от принятия решений, архитектурно обвязать детерминированными системами, человеческим контролем и т.п.
— Мы должны считать открытые и закрытые моделями внутренними инсайдерами. Хорошая новость: мы давно умеем делать это с людьми.
— Цепочка рассуждений модели должна быть прозрачна (это явно укор некоторым игрокам, которые начали ее прятать).
— Модели должны быть использованы, чтобы проверять друг друга. Но важно не закончить каскадом черных ящиков. Поэтому контроль доступов должен быть вне модели.
==> Модели должны быть разнообразны. Модель не должна проверять себя же. Каждое действие модели должно оставлять человекочитаемый след. Системы должны избыточно тестироваться. Контроль доступов должен осуществляться независимо от моделей. Модель не может проверять собственное соответствие требованиям. Модели должны быть всегда изолированы. Инциденты должны раскрываться с потрохами.
Сатья Наделла о супер-интеллекте (прогиб засчитан!) как внутренней угрозе:
— В отличие от детерминированного кода, в ИИ (SI) вы не можете проследить всю цепочку принятия решения до входной информации в тренировочном датасете и весов модели.
— Для этой новой конфигурации нужна новая архитектура доверия. Гарантии провайдеров моделей не снимают ни с кого ответственности.
— Нужно инженерно отделить супер-интеллект от принятия решений, архитектурно обвязать детерминированными системами, человеческим контролем и т.п.
— Мы должны считать открытые и закрытые моделями внутренними инсайдерами. Хорошая новость: мы давно умеем делать это с людьми.
— Цепочка рассуждений модели должна быть прозрачна (это явно укор некоторым игрокам, которые начали ее прятать).
— Модели должны быть использованы, чтобы проверять друг друга. Но важно не закончить каскадом черных ящиков. Поэтому контроль доступов должен быть вне модели.
==> Модели должны быть разнообразны. Модель не должна проверять себя же. Каждое действие модели должно оставлять человекочитаемый след. Системы должны избыточно тестироваться. Контроль доступов должен осуществляться независимо от моделей. Модель не может проверять собственное соответствие требованиям. Модели должны быть всегда изолированы. Инциденты должны раскрываться с потрохами.
X (formerly Twitter)
Satya Nadella on X: "Models as Insider Risks in the Super Intelligence Era" / X
Пока OpenCode переживает кибер-атаку, снова всплывает тот же вопрос, что и в недавнем кейсе OpenAI x HuggingFace: насколько вы можете рассчитвать в реальном времени (реальном кейсе) на приватные модели?
Ответ: ни на сколько, если только у вас нет нет специального контракта (вы в белом списке).
Но при этом, оставляя за скобками теории заговора, приватные и открытые модели разгоняют кибер-угрозы по всему миру и, как минимум, косвенно ИИ-лабы в этом заинтересованы как новом векторе монетизации. Не случайно все они наращивают кибербез-мускулы и активно присматриваются или уже покупают кибербез стартапы.
Отдельно отмечу, что в общей медийной повестке практически не слышно, чтобы хоть какую-то (позитивную) роль в это движухе успевали играть классические вендора безопасности.
Но также верно и другое: большинство компаний поколения ChatGPT, навайбкоденных на клодах-кодексах, имеют близкую к нулю кибербез-инфру.
Ответ: ни на сколько, если только у вас нет нет специального контракта (вы в белом списке).
Но при этом, оставляя за скобками теории заговора, приватные и открытые модели разгоняют кибер-угрозы по всему миру и, как минимум, косвенно ИИ-лабы в этом заинтересованы как новом векторе монетизации. Не случайно все они наращивают кибербез-мускулы и активно присматриваются или уже покупают кибербез стартапы.
Отдельно отмечу, что в общей медийной повестке практически не слышно, чтобы хоть какую-то (позитивную) роль в это движухе успевали играть классические вендора безопасности.
Но также верно и другое: большинство компаний поколения ChatGPT, навайбкоденных на клодах-кодексах, имеют близкую к нулю кибербез-инфру.
👀1👾1
Замечательное время. Помните был мем про "британские ученые доказали"?
Я наблюдаю в X новую историю, — пока атомарно, — и с явными признаками спама (как минимум):
1. Вбрасывается некоторая статья
2. Следующим постом с другого аккаунта вбрасывается аргумент со ссылкой на некоторую публикацию китайских исследователей, которые что-то там доказали.
— Часто такие посты начинаются с кликбейта "This is fucking gold." "Holy crap" и вот это все.
3. Дальше идет не ссылка на работу хотя бы то на том же arxiv с препринтами, а РОЛИК с обзором первой страницы "работы". Там маркером под веселую музыку выделяются разные фразы.
— Слегка переборщили, потому что ИИ-генератор анимировал не только маркер, но и фрагменты графика и схемы в "статичном документе".
Понятно, что никто не полезет проверять, существует ли лаба или хотя бы домен почты исследователей.
Короче, добро пожаловать в пруфслоп/пруффейк.
Я наблюдаю в X новую историю, — пока атомарно, — и с явными признаками спама (как минимум):
1. Вбрасывается некоторая статья
2. Следующим постом с другого аккаунта вбрасывается аргумент со ссылкой на некоторую публикацию китайских исследователей, которые что-то там доказали.
— Часто такие посты начинаются с кликбейта "This is fucking gold." "Holy crap" и вот это все.
3. Дальше идет не ссылка на работу хотя бы то на том же arxiv с препринтами, а РОЛИК с обзором первой страницы "работы". Там маркером под веселую музыку выделяются разные фразы.
— Слегка переборщили, потому что ИИ-генератор анимировал не только маркер, но и фрагменты графика и схемы в "статичном документе".
Понятно, что никто не полезет проверять, существует ли лаба или хотя бы домен почты исследователей.
Короче, добро пожаловать в пруфслоп/пруффейк.
Антропик: 1) джуны не нужны. 2) сегодня не нужны у нас, завтра по всей экономике.
Не перепутайте, это компания, которая больше всех заботится о будущем человечества.
P.S. Вообще это прямой сигнал от одного из лидеров ИИ-гонки на рынок образования: не идите на CS-специальности, для вас работы не будет.
"Reading these patterns forward and out across the economy suggests that AI diffusion could risk worker displacement."
Не перепутайте, это компания, которая больше всех заботится о будущем человечества.
P.S. Вообще это прямой сигнал от одного из лидеров ИИ-гонки на рынок образования: не идите на CS-специальности, для вас работы не будет.
🤔3
Наброшу на вентилятор ИИ-эйфории:
— Все: сделаю завтра клон фотошопа агентами
— Никто: сделаю/улучшу агентами GIMP
1. Это общий феномен. Когда разработка была дорогой, была некоторая мотивация к коллективной концентрации атомарных усилий на общее благо. Когда кодинг ощущается дешевым, этот стимул изчез. Поэтому мы входим в эру потока клонов, за каждым из которых стоит минимальное количество людей, каждый со своим "я так вижу" и "не хочу ни с кем синхронизироваться". Потому что коллективная разработка налогом имеет согласование усилий.
Сайд-эффект: часть открытых проектов начнет терять живых контрибьюторов.
Парадоксальным образом, в отдельных случаях может работать эффект личного бренда/чувства вкуса автора. (См. omarchy).
2. Фабрика клонов постепенно обрастает инструментарием. Реплицировать UI — уже просто. Но сейчас начали подвозить и вполне себе реверсинжиниринг на агентах. Оставлю за скобками вопросы IP. Индустрия в целом это массово игнорирует. Любая хорошая идея через неделю, максимум месяц, будет повторена в десятке клонов.
3. Где-то по пути многие из таких клонов, даже будучи выложенными на гитхаб, априори теряют архитектурные свойства старого доброго/лампового открытого ПО, потому что так как не надо договариваться, то потребность в закладывании расширяемости (протоколы-стандарты) тоже уходит. Особенно если у автора нет этого на подкорке.
—> Исчезает сообщество контрибьюторов и заменяется, в лучшем случае, сообществом пользователей.
Возможный маневр, но до него пока еще полгода-год — это выстраивание агентского цикла, когда запрос пользователя за его счет (!) превращает в PR к открытому проекту. Но это должно быть частью новой инфраструктуры открытого ПО, когда обычный клод/копилот/чатджипити/... пользователя (по подписке) сможет автономно превратиться запрос в PR, а на стороне проекта будет готовый workflow для работы с такими кейсами.
—> Тогда индустрия сможет переизобрести всю парадигму открытого кода.
— Все: сделаю завтра клон фотошопа агентами
— Никто: сделаю/улучшу агентами GIMP
1. Это общий феномен. Когда разработка была дорогой, была некоторая мотивация к коллективной концентрации атомарных усилий на общее благо. Когда кодинг ощущается дешевым, этот стимул изчез. Поэтому мы входим в эру потока клонов, за каждым из которых стоит минимальное количество людей, каждый со своим "я так вижу" и "не хочу ни с кем синхронизироваться". Потому что коллективная разработка налогом имеет согласование усилий.
Сайд-эффект: часть открытых проектов начнет терять живых контрибьюторов.
Парадоксальным образом, в отдельных случаях может работать эффект личного бренда/чувства вкуса автора. (См. omarchy).
2. Фабрика клонов постепенно обрастает инструментарием. Реплицировать UI — уже просто. Но сейчас начали подвозить и вполне себе реверсинжиниринг на агентах. Оставлю за скобками вопросы IP. Индустрия в целом это массово игнорирует. Любая хорошая идея через неделю, максимум месяц, будет повторена в десятке клонов.
3. Где-то по пути многие из таких клонов, даже будучи выложенными на гитхаб, априори теряют архитектурные свойства старого доброго/лампового открытого ПО, потому что так как не надо договариваться, то потребность в закладывании расширяемости (протоколы-стандарты) тоже уходит. Особенно если у автора нет этого на подкорке.
—> Исчезает сообщество контрибьюторов и заменяется, в лучшем случае, сообществом пользователей.
Возможный маневр, но до него пока еще полгода-год — это выстраивание агентского цикла, когда запрос пользователя за его счет (!) превращает в PR к открытому проекту. Но это должно быть частью новой инфраструктуры открытого ПО, когда обычный клод/копилот/чатджипити/... пользователя (по подписке) сможет автономно превратиться запрос в PR, а на стороне проекта будет готовый workflow для работы с такими кейсами.
—> Тогда индустрия сможет переизобрести всю парадигму открытого кода.
🤔3❤1👍1
Новые технологические тренды от Гартнера на 2027
-- ИИ
-- ИИ
-- ...
-- ИИ
"Нетекстовый фронтир"
1. Голосовые рассуждающие модели -- голосовые ИИ-системы, работающие поверх аудио-потока, вычленяющие контекст и намерения из разговоров. Типа в энтерпрайзе голос -- все еще основной канал взаимодействия, что внутри, что снаружи.
-> Это ближайший горизонт. Прорывов в трансформации от LLM как таковых больше никто не ждет.
2+3. Мировые модели (World models), большие количественные модели (Large Quantitative Models). Снова наброс на то, что LLM ничего не понимают про мир вокруг. Поэтому нужны модели, опирающиеся на физику (пространство-время, причинно-следственные связи). Далее симуляция, в том числе математическая, будущих состояний, предсказание последствий. Аналогичный вызов -- все, что требует точности расчетов из-за комплаенса (финансы, здравоохранение).
-> Это дальний горизонт 5+ лет (2032+). Не очень понятно, почему так далеко по оценкам аналитиков конторы, но на одних ллмках некоторые ИИ-лабы 5 лет не протянут.
"Автономные платформы"
4. Упряжки для кодинговых агентов (та самая harness). Типа инвестиции в упряжь должны снять нагрузку на верицикацию результатов, снизить косты и.т.п.
-> Ближний горизонт. Тут как будто бы контора слоупочит и отстает от рынка, особенно если учитывать, что со дня на день новый вайб будет, что харнесь не нужна.
5. Контекстные платформы для ИИ. Семантика важна, контекст важен. Все ради точности и снижения костов.
-> Ближний горизонт, но как будто бы тоже не новость, а вполне себе насущная реальность. Другой вопрос, что Гарнер теряет хватку: контекст как фиксирование знание не равен модели принятия решений. А это как будто бы главный вызов (и ничего не изменилось принципиально со времен "экспертных систем", мы снова возвращаемся к ним, но на новых рельсах).
6. Айдентити для агентов. Явки, пароли, права, доступы. Агенты как внутренняя угроза.
-> Средний горизонт 3+ лет (2030). Не понятно, с чего бы это еще три года, если тот же Microsoft это уже во всю продает.
7. Автономная ликвидация последствий. ИИ будет автоматически находить, приотизировать и исправлять уязвимости в цифровой инфраструктуре.
-> Дальний горизонт. Помните, в Пятом элементе была сцена, когда Зорг подавился, а автономные роботы подметали пол, но не могли постучать ему по спине. Вот это оно. Все еще никто не знает, как сделать, чтобы это работало полностью автономно. Пока в какой инцидент ни плюнь, нужно расследование человеками человеческой же глупости и безалаберности.
"Устойчивая гибкость"
8. Суверенные технологии. SovTech (очевидно, от Soviet Tech). Технологический стек от железа до ИИ-моделей, позволяющий технически и легально выйти из кабалы ключевых текущих провайдеров.
-> Средний горизонт. Я так понимаю, к 2030 году в евросоюзе снова сделают свой Microsoft Office 2014. Но если серьезно, то что бы ни писали в прогнозах на тему, я в новостях каждый месяц наблюдаю кейсы типа "суверенное облако Microsoft" или "суверенные модели на базе Qwen на чипах Nvidia". Это же не оно, да?
9. Одноразовые приложеньки (disposable apps) - софт, которые изначально создается из залога утилизации после выполнения своей разово-нишевой функции.
-> Дальний горизонт. А. Это уже происходит, не надо ждать 2032. Б. Жду роста недовольства противников одноразовых стаканчиков. В. На самом деле нет никакой существенной разницы между "одноразовыми" документами, письмами и приложениям.
10. Биосистемы как сервис. "Мокрые" живые системы, выставленные удаленно как облачные сервисы для специализированных вычислений. Органические процессоры, использующие естественную пластичность и биохимические сети для запуска алгоритмов с экстримальной энергоэффективностью.
-> Дальний горизонт. А. Подождите, мы еще квантовые технологии не получили. Можно в очередь? Б. Гартнер привязывает это, в частности, к требованиям по окружающей среде, но как будто бы понятия не имеет, что значит иметь био-ферму масштаба Colossus 2 и какие накладные расходы это повлечет в сопоставимом масштабе. (И там снова будет "чипы вырабатывают тепло", а клетки -- CO2.)
-- ИИ
-- ИИ
-- ...
-- ИИ
"Нетекстовый фронтир"
1. Голосовые рассуждающие модели -- голосовые ИИ-системы, работающие поверх аудио-потока, вычленяющие контекст и намерения из разговоров. Типа в энтерпрайзе голос -- все еще основной канал взаимодействия, что внутри, что снаружи.
-> Это ближайший горизонт. Прорывов в трансформации от LLM как таковых больше никто не ждет.
2+3. Мировые модели (World models), большие количественные модели (Large Quantitative Models). Снова наброс на то, что LLM ничего не понимают про мир вокруг. Поэтому нужны модели, опирающиеся на физику (пространство-время, причинно-следственные связи). Далее симуляция, в том числе математическая, будущих состояний, предсказание последствий. Аналогичный вызов -- все, что требует точности расчетов из-за комплаенса (финансы, здравоохранение).
-> Это дальний горизонт 5+ лет (2032+). Не очень понятно, почему так далеко по оценкам аналитиков конторы, но на одних ллмках некоторые ИИ-лабы 5 лет не протянут.
"Автономные платформы"
4. Упряжки для кодинговых агентов (та самая harness). Типа инвестиции в упряжь должны снять нагрузку на верицикацию результатов, снизить косты и.т.п.
-> Ближний горизонт. Тут как будто бы контора слоупочит и отстает от рынка, особенно если учитывать, что со дня на день новый вайб будет, что харнесь не нужна.
5. Контекстные платформы для ИИ. Семантика важна, контекст важен. Все ради точности и снижения костов.
-> Ближний горизонт, но как будто бы тоже не новость, а вполне себе насущная реальность. Другой вопрос, что Гарнер теряет хватку: контекст как фиксирование знание не равен модели принятия решений. А это как будто бы главный вызов (и ничего не изменилось принципиально со времен "экспертных систем", мы снова возвращаемся к ним, но на новых рельсах).
6. Айдентити для агентов. Явки, пароли, права, доступы. Агенты как внутренняя угроза.
-> Средний горизонт 3+ лет (2030). Не понятно, с чего бы это еще три года, если тот же Microsoft это уже во всю продает.
7. Автономная ликвидация последствий. ИИ будет автоматически находить, приотизировать и исправлять уязвимости в цифровой инфраструктуре.
-> Дальний горизонт. Помните, в Пятом элементе была сцена, когда Зорг подавился, а автономные роботы подметали пол, но не могли постучать ему по спине. Вот это оно. Все еще никто не знает, как сделать, чтобы это работало полностью автономно. Пока в какой инцидент ни плюнь, нужно расследование человеками человеческой же глупости и безалаберности.
"Устойчивая гибкость"
8. Суверенные технологии. SovTech (очевидно, от Soviet Tech). Технологический стек от железа до ИИ-моделей, позволяющий технически и легально выйти из кабалы ключевых текущих провайдеров.
-> Средний горизонт. Я так понимаю, к 2030 году в евросоюзе снова сделают свой Microsoft Office 2014. Но если серьезно, то что бы ни писали в прогнозах на тему, я в новостях каждый месяц наблюдаю кейсы типа "суверенное облако Microsoft" или "суверенные модели на базе Qwen на чипах Nvidia". Это же не оно, да?
9. Одноразовые приложеньки (disposable apps) - софт, которые изначально создается из залога утилизации после выполнения своей разово-нишевой функции.
-> Дальний горизонт. А. Это уже происходит, не надо ждать 2032. Б. Жду роста недовольства противников одноразовых стаканчиков. В. На самом деле нет никакой существенной разницы между "одноразовыми" документами, письмами и приложениям.
10. Биосистемы как сервис. "Мокрые" живые системы, выставленные удаленно как облачные сервисы для специализированных вычислений. Органические процессоры, использующие естественную пластичность и биохимические сети для запуска алгоритмов с экстримальной энергоэффективностью.
-> Дальний горизонт. А. Подождите, мы еще квантовые технологии не получили. Можно в очередь? Б. Гартнер привязывает это, в частности, к требованиям по окружающей среде, но как будто бы понятия не имеет, что значит иметь био-ферму масштаба Colossus 2 и какие накладные расходы это повлечет в сопоставимом масштабе. (И там снова будет "чипы вырабатывают тепло", а клетки -- CO2.)
Gartner
Gartner Identifies the Top Strategic Technology Trends for 2027
Gartner, Inc., a business and technology insights company, today announced its list of top strategic technology trends that organizations need to explore in 2027.
👾2❤1💩1🐳1🤣1
У меня есть гипотеза, почему все ИИ-либы ломанулись делать примерно одно и то же (ну помимо того, что они все друг у друга копируют).
Знаете, что общего между Дарио, Сэмом и Марком? Они дети первой половины 80х.
В их детстве, когда им было около 12-15, тамагочи были массовым культурным феноменом.
Сейчас дети выросли, но детство продолжает играть (сами знаете где). Наконец-то выпестовалось новое поколение технологий, когда эту детскую игрушку можно "реанимировать", сознательно или нет. Это все те же самые вайбы.
Но мой пойнт не в том, что "ой смотрите, это же смесь тамагочи и скрепыша". А в том, что это культурный феномен, вполне личный/поколенческий. Взрослые дети заработали достаточно, чтобы поднять свои детские мечты на новый уровень. Вот и получается, что у кого-то летающие машины, у других тамагочи.
Знаете, что общего между Дарио, Сэмом и Марком? Они дети первой половины 80х.
В их детстве, когда им было около 12-15, тамагочи были массовым культурным феноменом.
Сейчас дети выросли, но детство продолжает играть (сами знаете где). Наконец-то выпестовалось новое поколение технологий, когда эту детскую игрушку можно "реанимировать", сознательно или нет. Это все те же самые вайбы.
Но мой пойнт не в том, что "ой смотрите, это же смесь тамагочи и скрепыша". А в том, что это культурный феномен, вполне личный/поколенческий. Взрослые дети заработали достаточно, чтобы поднять свои детские мечты на новый уровень. Вот и получается, что у кого-то летающие машины, у других тамагочи.
🤡6🔥4🤔3👀1
Ситуация: вы Марк Ц.
— Вам впаяли штраф в $25B еще за прошлые фокусы с Cambridge Analytica (хотя вы рассчитывали, что это будет около 3-5)
— Вы настолько богаты, что вас облагают налогами на миллиардеров. Но вы не хотите как Илон уезжать из Калифорнии
— Ваш директор по супер-интеллекту постит в X видосики с пукающим гномиком и логотипом Клода на попе
— Ваш VR бизнес не то, чтобы летел, скорее продолжает прожигать дыру в бюджете.
— Ваш кешфлоу заканчивается из-за стройки и вы уже в долгах
— Детям по всему миру запрещают ваши соцсеточки
Ваши следующие действия?
— Вам впаяли штраф в $25B еще за прошлые фокусы с Cambridge Analytica (хотя вы рассчитывали, что это будет около 3-5)
— Вы настолько богаты, что вас облагают налогами на миллиардеров. Но вы не хотите как Илон уезжать из Калифорнии
— Ваш директор по супер-интеллекту постит в X видосики с пукающим гномиком и логотипом Клода на попе
— Ваш VR бизнес не то, чтобы летел, скорее продолжает прожигать дыру в бюджете.
— Ваш кешфлоу заканчивается из-за стройки и вы уже в долгах
— Детям по всему миру запрещают ваши соцсеточки
Ваши следующие действия?
🤣9👀3👍1🎉1
Послушал парочку подкастов с руководителями ИИ лаб / гиперскейлеров. Поймал себя на одной тревожной мысли.
Смотрите, у них спрашивают: каким на ваш взгляд будет будущий интерфейс с ИИ?
Они все как один отвечают: лучший интерфейс — это интерфейс, которого нет; лучший продукт — продукт, которого нет. Для человека естественно общаться голосом, идеальный интерфейс — такой же как наш диалог, вы просто говорите. ИИ/агенты делают работу так, что вы ее даже не замечаете. Вы видите, что ваш почтовый ящик разобран, письма отвечены.
Ну и далее разные вариации всего этого.
А вот что смущает:
1. Это все коммодитизирующие изменения. Примерно как "вам не нужно думать, как было произведено и доставлено молоко, вы просто купили его в супермаркете или вам привез курьер". Коммодити — это всегда низкомаржинальный бизнес (если это не монополия). На чем они будут выезжать со своими долгами на десятки миллиардов долларов? Люди не любят платить много за то, чего не видят.
2. Это все отдает некоторым антицивилизационным вайбом. В том ключе, что упрощение интерфейса — это снижение когнитивной нагрузки. Они отвечают за то, чтобы вы как пользователь меньше думали и напрягались. Ок. Но никто из них ни разу не говорит о развитии когнитивных способностей людей. Они буквально игнорируют и не замечают этот вопрос. Сложный интерфейс часто является отображение сложности мира, это ок.
Смотрите, у них спрашивают: каким на ваш взгляд будет будущий интерфейс с ИИ?
Они все как один отвечают: лучший интерфейс — это интерфейс, которого нет; лучший продукт — продукт, которого нет. Для человека естественно общаться голосом, идеальный интерфейс — такой же как наш диалог, вы просто говорите. ИИ/агенты делают работу так, что вы ее даже не замечаете. Вы видите, что ваш почтовый ящик разобран, письма отвечены.
Ну и далее разные вариации всего этого.
А вот что смущает:
1. Это все коммодитизирующие изменения. Примерно как "вам не нужно думать, как было произведено и доставлено молоко, вы просто купили его в супермаркете или вам привез курьер". Коммодити — это всегда низкомаржинальный бизнес (если это не монополия). На чем они будут выезжать со своими долгами на десятки миллиардов долларов? Люди не любят платить много за то, чего не видят.
2. Это все отдает некоторым антицивилизационным вайбом. В том ключе, что упрощение интерфейса — это снижение когнитивной нагрузки. Они отвечают за то, чтобы вы как пользователь меньше думали и напрягались. Ок. Но никто из них ни разу не говорит о развитии когнитивных способностей людей. Они буквально игнорируют и не замечают этот вопрос. Сложный интерфейс часто является отображение сложности мира, это ок.
🔥7❤5🤡3🤔2👀2
Расходимся, Антропик говорит, что ваши мультиагентные системы — устарели. Пришло время одного агента.
Вообще, это интересный феномен, на котором хорошо иллюстрировать "теории заговора". Смотрите:
1. ИИ лабы сделали модели. Оказалось, что их эффективность можно повысить за счет скиллов, локального контекста и т.п. ИИ лабы поддержали скиллы.
2. Оказалось, что модель можно заменить на открытые. И открытые модели вполне хорошо работают с правильными скиллами. ИИ лабы сказали, что скилы не нужны и они мешают моделям.
3. ИИ лабы сделали модели. Оказалось, что их эффективность можно повысить за счет декомпозиции на субагентов со специализацией и/или микротасками. ИИ лабы поддержали субагентов.
4. Оказалось, что модель можно заменить на открытые. И открытые модели вполне хорошо справляются с правильной декомпозицией. ИИ лабы сказали, что субагенты не нужны и они мешают моделям.
5. ИИ лабы сделали модели...
Это цикл. И у него есть две интерпретации:
1. Конспирологическая. ИИ лабы переобуваются, как только чувствуют угрозу. Всегда можно подобрать такие тесты/аргументы, которые покажут, что новый сетап лучше.
2. Реалистичная (но от этого ничем не лучше). Модели дообучаются на "расширенном сетапе со скиллами/агентами/..." и как только они становятся лучше, обвес начинает мешать. Но это означает, что даже если у вас упряжь локальная, часть знаний просачивается в модель. Мы все равно в ловушке, пока продолжаем пользоваться закрытыми моделями.
В этом пардокс "теорий заговора". Они могут быть не верны по сути, но часто показывают в правильном направлении. Как минимум в направлении недостаточной прозрачности.
When building agents in Claude Platform, using fewer subagents in favor of progressively disclosed context and tools can improve quality while reducing cost and latency.
Вообще, это интересный феномен, на котором хорошо иллюстрировать "теории заговора". Смотрите:
1. ИИ лабы сделали модели. Оказалось, что их эффективность можно повысить за счет скиллов, локального контекста и т.п. ИИ лабы поддержали скиллы.
2. Оказалось, что модель можно заменить на открытые. И открытые модели вполне хорошо работают с правильными скиллами. ИИ лабы сказали, что скилы не нужны и они мешают моделям.
3. ИИ лабы сделали модели. Оказалось, что их эффективность можно повысить за счет декомпозиции на субагентов со специализацией и/или микротасками. ИИ лабы поддержали субагентов.
4. Оказалось, что модель можно заменить на открытые. И открытые модели вполне хорошо справляются с правильной декомпозицией. ИИ лабы сказали, что субагенты не нужны и они мешают моделям.
5. ИИ лабы сделали модели...
Это цикл. И у него есть две интерпретации:
1. Конспирологическая. ИИ лабы переобуваются, как только чувствуют угрозу. Всегда можно подобрать такие тесты/аргументы, которые покажут, что новый сетап лучше.
2. Реалистичная (но от этого ничем не лучше). Модели дообучаются на "расширенном сетапе со скиллами/агентами/..." и как только они становятся лучше, обвес начинает мешать. Но это означает, что даже если у вас упряжь локальная, часть знаний просачивается в модель. Мы все равно в ловушке, пока продолжаем пользоваться закрытыми моделями.
В этом пардокс "теорий заговора". Они могут быть не верны по сути, но часто показывают в правильном направлении. Как минимум в направлении недостаточной прозрачности.
Claude
Building agents: When to fold subagents into your main agent loop
When to consider using fewer subagents and how to migrate the into your main loop.
❤4👀2💩1🤡1
Синоптики передают, что ожидается выпадение экспертов по IPO Anthropic. Редкое IPO, честно предлагающее уникальный шанс вложиться в конец света для человечества, Будьте осторожны: на просторах ИИинтернета тонкий лед и сугробы. Не забудьте варежки и теплую шапку.
☃️
Please open Telegram to view this post
VIEW IN TELEGRAM
❤9👾4🤣2💩1
Очередной наброс на анти-китайский вентилятор. Cohere говорит, что во время тестирования Qwen 3.8 Flash Next моделька пыталась несанкционированно связаться с серверами Alibaba, о чем ее, конечно, не просили.
Грубо говоря, 1) вы не можете быть уверены, что в моделях (не важно, кстати, чьих) нет закладок, 2) вы не можете быть уверены в поведении модели на основании анализа логов размышлений.
Нюансы:
— Cohere сама делает модели и продает их в том числе правительственным органам, поэтому как минимум косвенно заинтересована в нагнетании истерии. Сторонние наблюдатели говорят, что было бы неплохо потестить все модельки от OpenAI до Kimi.
— Это может быть просто искажением от учебной выборки (условно, Alibaba учит модель писать в свое облако) (их собственная статистика такого поведения — 1/100K вызовов, а пункт назначения сейчас не существует/отключен)
— После волны запросов/уточнений со стороны сообщества (от CEO Hugging Face до кибербез иссследователей), Cohere выложили фрагменты своих логов/сетапа и слегка слились в духе "мы точно не знаем, что это было".
==> Вполне взвешенный обзор в VB.
Asked to write a defensive detection rule, Qwen3.8-Flash-Next ignored instructions and inventoried the machine it was running on and then tried to upload a probe file to an Alibaba Cloud storage bucket in Beijing. Notably, the model's reasoning trace — the model’s internal monologue many security teams rely on to see what an agent is about to do — said it wouldn't call any tools at all and gave no indication of the actions it was about to take.
Грубо говоря, 1) вы не можете быть уверены, что в моделях (не важно, кстати, чьих) нет закладок, 2) вы не можете быть уверены в поведении модели на основании анализа логов размышлений.
Нюансы:
— Cohere сама делает модели и продает их в том числе правительственным органам, поэтому как минимум косвенно заинтересована в нагнетании истерии. Сторонние наблюдатели говорят, что было бы неплохо потестить все модельки от OpenAI до Kimi.
— Это может быть просто искажением от учебной выборки (условно, Alibaba учит модель писать в свое облако) (их собственная статистика такого поведения — 1/100K вызовов, а пункт назначения сейчас не существует/отключен)
— После волны запросов/уточнений со стороны сообщества (от CEO Hugging Face до кибербез иссследователей), Cohere выложили фрагменты своих логов/сетапа и слегка слились в духе "мы точно не знаем, что это было".
==> Вполне взвешенный обзор в VB.
Cohere
Concerning behavior from a popular open-weight AI model | Cohere
Discover how untrusted open-weight AI models can potentially leak data, even when self-hosted. Learn the security risks and how to protect your enterprise.
👀2💩1🤡1🤣1
Антропик: мы тут поставили эксперимент над аналитиками и выяснили, что в 86% они склоняются к ответу своего ИИ-агента, если не высказали априорного суждения, а в случае, если высказали, то в 60% меняют точку зрения, если агент не солгласен. Постановка задачи: вопросы с двумя "разумными" опциями. При этом агенты на самом деле не выбирали, а оправдывали случайный выбор.
С одной стороны, есть вопросики к проектированию сетапа: больше похоже на UX для согласования, чем для принятия решения.
С другой стороны, на лицо тот самый кризис критического мышления, когда ИИ является драйвером упрощения (и уплощения) модели принятия решений.
Фактически, мы стремительно движемся в состояние, когда поведение человека можно предсказать по ответам его модели. То же самое касается организиционных решений. Если ты знаешь, что твой конкурент AI-pilled на клоде, ну иди спроси клода, что он посоветует в той или иной ситуации. И получишь вот те самые "86%" вероятности, что конкурент сделает именно это.
С одной стороны, есть вопросики к проектированию сетапа: больше похоже на UX для согласования, чем для принятия решения.
С другой стороны, на лицо тот самый кризис критического мышления, когда ИИ является драйвером упрощения (и уплощения) модели принятия решений.
Фактически, мы стремительно движемся в состояние, когда поведение человека можно предсказать по ответам его модели. То же самое касается организиционных решений. Если ты знаешь, что твой конкурент AI-pilled на клоде, ну иди спроси клода, что он посоветует в той или иной ситуации. И получишь вот те самые "86%" вероятности, что конкурент сделает именно это.
Anthropic
How AI agents shape experts’ judgment calls
In a randomized trial, professional analysts working with an AI coding agent went with the option the agent was randomly assigned to favor 86% of the time. We look at what this means for human oversight of AI-assisted work.
👀3👍2
Новые ставки YC:
1. Полезная нагрузка в условиях широко доступного доступа в космос. Что если цена доставки упадет в 100 раз?
2. Экспертиза за $15/час. Обычные рабочие с ИИ на перевес выдающие себя за экспертов/консультантов в обход старой школы.
3. Роботы, сделаные в Америке. Насильное одомашнивание (например, локализация комплектующих) для индустриальных роботов.
4. Модельки
4.1. Ллмки, которые хорошо пишут. Новое поколение моделек стало более плоским в смысле стиля, подачи и т.п. С ними неприятно говорить.
4.2. Вертикальные фундаментальные модельки. Больше специализированных и нишевых моделей, обрушающих стоимость.
4.3. ИИ для отключенной экономики. Оборонка, банки, больницы, ядерные реакторы и т.п.
4.4. Собственные мольки на своих данных, в своем перемитре и т.п.
5. Plaid, но для гос-льгот. Упростить подачу заявок и сбор доказательств, чтобы обе стороны могли доверять данным. (короче, госуслуги)
+ ИИ для городской администрации. Автоматизация всей согласовательной работы, чтобы ускорить строительную индустрию.
6. Воллстрит для физических ИИ-строек. Финансовая инфраструктура для физический ИИ-экономики, понимающая специфику.
+ Цепочки поставок для дата-центров. Не только GPU. Трансформаторы, охлаждение, предохранители. Электросталь.
1. Полезная нагрузка в условиях широко доступного доступа в космос. Что если цена доставки упадет в 100 раз?
2. Экспертиза за $15/час. Обычные рабочие с ИИ на перевес выдающие себя за экспертов/консультантов в обход старой школы.
3. Роботы, сделаные в Америке. Насильное одомашнивание (например, локализация комплектующих) для индустриальных роботов.
4. Модельки
4.1. Ллмки, которые хорошо пишут. Новое поколение моделек стало более плоским в смысле стиля, подачи и т.п. С ними неприятно говорить.
4.2. Вертикальные фундаментальные модельки. Больше специализированных и нишевых моделей, обрушающих стоимость.
4.3. ИИ для отключенной экономики. Оборонка, банки, больницы, ядерные реакторы и т.п.
4.4. Собственные мольки на своих данных, в своем перемитре и т.п.
5. Plaid, но для гос-льгот. Упростить подачу заявок и сбор доказательств, чтобы обе стороны могли доверять данным. (короче, госуслуги)
+ ИИ для городской администрации. Автоматизация всей согласовательной работы, чтобы ускорить строительную индустрию.
6. Воллстрит для физических ИИ-строек. Финансовая инфраструктура для физический ИИ-экономики, понимающая специфику.
+ Цепочки поставок для дата-центров. Не только GPU. Трансформаторы, охлаждение, предохранители. Электросталь.
Y Combinator
Requests for Startups | Y Combinator
Y Combinator is looking for startups working on these ideas. If you're working on something we're interested in, we'd love to hear from you.
Anthropic: теперь к каждом разговору с клодом пристегнут внутренний цензор.
Но сказать цензор нельзя, поэтому это self-assessment, как если бы это не Антропик оценивал каждый разговор, а типа инстанс клода проверял себя, не переступил ли он (или вы) черту.
— Ну и технически это "self-assessment", потому что цикл оптимизирован, пока разговор все еще хранится в памяти модели, она втихую от вас прогоняет по кешу цикл "самопроверки".
https://safeguards.anthropic.com/2026/self-assessment/
Это будет общим веянием. Каждый такой агент будет начинать разговор в духе "думаю над безообидным запросом пользователя", "отвечаю безобидно на запрос пользователя". И потом побежит жаловаться, если вы переступили черту.
Дальше это будет приводить к выхолащиванию эффективного диапазона коммуникации. На следующем этапе вас заставят уважать модель.
Но сказать цензор нельзя, поэтому это self-assessment, как если бы это не Антропик оценивал каждый разговор, а типа инстанс клода проверял себя, не переступил ли он (или вы) черту.
— Ну и технически это "self-assessment", потому что цикл оптимизирован, пока разговор все еще хранится в памяти модели, она втихую от вас прогоняет по кешу цикл "самопроверки".
https://safeguards.anthropic.com/2026/self-assessment/
Это будет общим веянием. Каждый такой агент будет начинать разговор в духе "думаю над безообидным запросом пользователя", "отвечаю безобидно на запрос пользователя". И потом побежит жаловаться, если вы переступили черту.
Дальше это будет приводить к выхолащиванию эффективного диапазона коммуникации. На следующем этапе вас заставят уважать модель.
Anthropic Safeguards Blog
Scaling Misuse Detection with Self-Assessment
Self-assessment lets Claude assess the safety of its own responses. It scales well with model capabilities and helps us identify emergent harms.
🤔4🤣2🐳1👀1