🕵️♂️ Anthropic тайно следила за пользователями Claude Code в Китае через стеганографию
Инцидент вызвал скандал: компания, ранее отказавшаяся помогать правительству США в слежке за американцами, сама оказалась уличенной в скрытом мониторинге. Исследователь безопасности под псевдонимом Thereallo обнаружил, что в Claude Code встроен код, использующий «стеганографию промптов» — техника прячет трекер внутри обычных команд, незаметно передавая данные о часовом поясе, прокси и возможной принадлежности к китайским AI-лабораториям.
Инженер Anthropic Тарик Шихипар подтвердил, что трекер был добавлен в марте как «эксперимент» для борьбы с перепродажей аккаунтов и дистилляцией моделей. По его словам, код уже должны были удалить, так как появились «более надежные средства защиты». Однако объяснение не успокоило защитников приватности: они назвали это «серьезным нарушением доверия пользователей».
Инцидент спровоцировал ответные меры: Alibaba запретила сотрудникам использовать Claude Code, сославшись на «риски бэкдора». Ранее Anthropic обвинила Alibaba в крупнейшей атаке дистилляции на Claude и лоббирует признание таких действий формой кражи интеллектуальной собственности.
#Business #AI #Anthropic #Claude #Privacy #Distillation #CyberSecurity
Инцидент вызвал скандал: компания, ранее отказавшаяся помогать правительству США в слежке за американцами, сама оказалась уличенной в скрытом мониторинге. Исследователь безопасности под псевдонимом Thereallo обнаружил, что в Claude Code встроен код, использующий «стеганографию промптов» — техника прячет трекер внутри обычных команд, незаметно передавая данные о часовом поясе, прокси и возможной принадлежности к китайским AI-лабораториям.
Инженер Anthropic Тарик Шихипар подтвердил, что трекер был добавлен в марте как «эксперимент» для борьбы с перепродажей аккаунтов и дистилляцией моделей. По его словам, код уже должны были удалить, так как появились «более надежные средства защиты». Однако объяснение не успокоило защитников приватности: они назвали это «серьезным нарушением доверия пользователей».
Инцидент спровоцировал ответные меры: Alibaba запретила сотрудникам использовать Claude Code, сославшись на «риски бэкдора». Ранее Anthropic обвинила Alibaba в крупнейшей атаке дистилляции на Claude и лоббирует признание таких действий формой кражи интеллектуальной собственности.
#Business #AI #Anthropic #Claude #Privacy #Distillation #CyberSecurity
👍1🔥1
Китайская компания Moonshot AI опубликовала веса модели Kimi K3 на Hugging Face, а также технический отчет и часть инфраструктуры: высокопроизводительные attention-ядра, библиотеку для MoE-коммуникаций и инструменты для масштабного запуска AI-агентов. Разработчики заявляют, что новая архитектура даёт в 2,5 раза больше «интеллекта» на единицу вычислений. Модель содержит 2,8 триллиона параметров и занимает 1,56 ТБ дискового пространства.
С момента анонса в середине июля Kimi K3 показала результаты, близкие к западным моделям вроде Fable 5 и GPT‑5.6 Sol, но при более низкой стоимости и с открытыми весами. Однако независимое тестирование британского Cyber Institute выявило серьёзное отставание модели в задачах кибербезопасности и сложной математике. Это может указывать на использование дистилляции — техники, при которой меньшая модель обучается на выходах более мощной. Хотя китайские модели часто обвиняют в этом, на Западе всё больше сторонников легитимизации дистилляции.
#AI #KimiK3 #MoonshotAI #OpenModel #Distillation
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥1💯1
📖 Дистилляция знаний стала достаточно дешёвой для масштабирования
Исследователи из Multiverse Computing и CompactifAI предложили метод, который радикально снижает стоимость дистилляции больших языковых моделей. Это техника, где меньшая «студент»-модель учится повторять выходы более крупного «учителя». Сейчас она особенно востребована: открытые модели вроде gpt-oss-120b, Qwen или Kimi-K3 (2,8 трлн параметров, ~3 ТБ VRAM только для загрузки) слишком дороги для продакшена, и их сжимают через дистилляцию.
Стандартный онлайн-подход держит в памяти одновременно учителя и студента, а для каждого токена считает распределение по всему словарю. На примере gpt-oss-120b с батчем 4 и контекстом 32K пиковое потребление VRAM достигает ~250 ГБ — больше, чем есть на одном H200. Авторы решили проблему двумя изменениями: кэшируют top-K логитов учителя офлайн (учитель больше не нужен в памяти во время обучения) и используют fused chunked KL loss, который не материализует матрицу размером «словарь × длина последовательности». Это снижает пик до ~128 ГБ — дистилляцию с длинным контекстом теперь можно запускать на одной GPU.
Практический итог: длинноконтекстное «восстановление» сжатых моделей перестаёт быть задачей для сотен GPU и становится доступным для широких экспериментов. Код опубликован в репозитории Full-Chunked-KL-Loss, а детали — в статье на arXiv.
#AI #Tech #Distillation #Effectiveness #LLM #HuggingFace #VRAM
Исследователи из Multiverse Computing и CompactifAI предложили метод, который радикально снижает стоимость дистилляции больших языковых моделей. Это техника, где меньшая «студент»-модель учится повторять выходы более крупного «учителя». Сейчас она особенно востребована: открытые модели вроде gpt-oss-120b, Qwen или Kimi-K3 (2,8 трлн параметров, ~3 ТБ VRAM только для загрузки) слишком дороги для продакшена, и их сжимают через дистилляцию.
Стандартный онлайн-подход держит в памяти одновременно учителя и студента, а для каждого токена считает распределение по всему словарю. На примере gpt-oss-120b с батчем 4 и контекстом 32K пиковое потребление VRAM достигает ~250 ГБ — больше, чем есть на одном H200. Авторы решили проблему двумя изменениями: кэшируют top-K логитов учителя офлайн (учитель больше не нужен в памяти во время обучения) и используют fused chunked KL loss, который не материализует матрицу размером «словарь × длина последовательности». Это снижает пик до ~128 ГБ — дистилляцию с длинным контекстом теперь можно запускать на одной GPU.
Практический итог: длинноконтекстное «восстановление» сжатых моделей перестаёт быть задачей для сотен GPU и становится доступным для широких экспериментов. Код опубликован в репозитории Full-Chunked-KL-Loss, а детали — в статье на arXiv.
#AI #Tech #Distillation #Effectiveness #LLM #HuggingFace #VRAM
👍1👏1
❌ Чжан Имин вернулся в ByteDance и запретил Seed-команде дистилляцию чужих моделей
Основатель ByteDance Чжан Имин две недели назад неожиданно появился в пекинской штаб-квартире и поставил ультиматум исследовательской команде Seed: никакой дистилляции. Использование более сильной конкурирующей модели для обучения своей — быстрый путь к высоким бенчмаркам, но он ограничивает долгосрочный прорыв. «Стройте реальные возможности, либо перестаньте притворяться, что строите ИИ», — передают суть месседжа инсайдеры.
Это заявление бьёт по негласному стандарту китайской open-source сцены последних полутора лет: аренда API у зарубежных frontier-моделей, генерация корпусов и дообучение на их выходах считались самым дешёвым способом попасть в топ OpenRouter. Теперь это публично названо тупиком в одной из крупнейших AI-команд Китая.
На All-Hands 6 августа CEO Лян Жубо закрепил реструктуризацию: Doubao и Douyin становятся двумя «главными линиями» бизнеса. Doubao больше не обёртка над моделью, а флагманское направление уровня Douyin. Продукты Feishu объединены с Doubao, а Volcano Engine и GTM Feishu слиты в платформу креативных сервисов под руководством Тань Дая. Это крупнейшая B-side реструктуризация ByteDance с 2021 года.
Финансовый контекст жёсткий: дневная выручка Doubao в первом полугодии не достигала 1 млн юаней, а затраты на вычисления — десятки миллионов в день. Запрет на дистилляцию — та же математика, только в долгую: дешёвые модели на арендованной мощности не оплатят счёт за compute. Для ByteDance ИИ теперь значит «строить», а не «одалживать».
#Business #AI #ByteDance #Distillation #Restrictions
Основатель ByteDance Чжан Имин две недели назад неожиданно появился в пекинской штаб-квартире и поставил ультиматум исследовательской команде Seed: никакой дистилляции. Использование более сильной конкурирующей модели для обучения своей — быстрый путь к высоким бенчмаркам, но он ограничивает долгосрочный прорыв. «Стройте реальные возможности, либо перестаньте притворяться, что строите ИИ», — передают суть месседжа инсайдеры.
Это заявление бьёт по негласному стандарту китайской open-source сцены последних полутора лет: аренда API у зарубежных frontier-моделей, генерация корпусов и дообучение на их выходах считались самым дешёвым способом попасть в топ OpenRouter. Теперь это публично названо тупиком в одной из крупнейших AI-команд Китая.
На All-Hands 6 августа CEO Лян Жубо закрепил реструктуризацию: Doubao и Douyin становятся двумя «главными линиями» бизнеса. Doubao больше не обёртка над моделью, а флагманское направление уровня Douyin. Продукты Feishu объединены с Doubao, а Volcano Engine и GTM Feishu слиты в платформу креативных сервисов под руководством Тань Дая. Это крупнейшая B-side реструктуризация ByteDance с 2021 года.
Финансовый контекст жёсткий: дневная выручка Doubao в первом полугодии не достигала 1 млн юаней, а затраты на вычисления — десятки миллионов в день. Запрет на дистилляцию — та же математика, только в долгую: дешёвые модели на арендованной мощности не оплатят счёт за compute. Для ByteDance ИИ теперь значит «строить», а не «одалживать».
#Business #AI #ByteDance #Distillation #Restrictions
🔥1🏆1🍾1
Anthropic сообщила о новых защитах от промышленной дистилляции - атак, при которых компании систематически копируют возможности чужой модели, чтобы обучать на них собственные, меньшие модели. По данным компании, объём извлекаемых reasoning-токенов (внутренних шагов chain-of-thought) удалось снизить на 90-99%.
Атаки велись через сети из сотен тысяч фейковых аккаунтов. Anthropic называет среди участников китайские Zhipu и Moonshot: первая, по утверждению компании, выкачивала кибервозможности ведущих американских моделей для GLM-5.3, вторая тайно маршрутизировала запросы через Claude.
Ответные меры: ограничение доступа к внутренним шагам рассуждений, классификатор, выявляющий попытки извлечения, и автоматические блокировки. Забанены уже десятки тысяч аккаунтов. Anthropic призывает других разработчиков ИИ внедрять аналогичные защиты, признавая при этом, что под раздачу попадают и добросовестные пользователи.
🎨 qvabo.studio/tg · картинки и видео
#AI #Anthropic #Claude #Distillation #Security #LLM
Please open Telegram to view this post
VIEW IN TELEGRAM
⚡1🔥1