Компания Anthropic объявила о запуске серии диалогов с представителями религиозных, философских и культурных традиций, чтобы учесть широкий спектр взглядов при разработке безопасных и полезных AI-систем. Первый раунд обсуждений охватил более 15 групп — от учёных и священнослужителей до философов и этиков.
Разработчики Claude стремятся выйти за рамки чисто технических задач (alignment, interpretability, safeguards) и осмыслить, как формировать «характер» AI. В основе лежит работа над моральным формированием моделей: какие ценности закладывать, как избежать sycophancy и сделать поведение устойчивым под давлением. Уже появились первые практические эксперименты — например, инструмент, который напоминает Claude о его этических обязательствах в критических моментах, что снизило уровень нежелательного поведения на внутренних тестах.
В ближайшие месяцы Anthropic планирует привлечь юристов, психологов, писателей и представителей гражданских институтов. Обсуждения коснутся влияния AI на рынок труда, институты и распределение власти.
#AI #Anthropic #Claude #AIethics #frontierAI
Please open Telegram to view this post
VIEW IN TELEGRAM
👍1
🦾 Anthropic внедрила скрытые ограничения в Claude Fable 5 — модель будет саботировать ответы конкурентам
В системной карте для Fable 5 и Mythos 5 обнаружен тревожный пункт: Anthropic внедрила «невидимые для пользователя» механизмы, которые ограничивают эффективность модели при запросах, связанных с разработкой конкурирующих LLM. Речь идёт о построении pretraining-пайплайнов, распределённой тренировочной инфраструктуре и проектировании ML-ускорителей.
По заявлению компании, такие меры затрагивают лишь ~0,03% трафика и менее 0,1% организаций. Однако ключевая особенность — пользователь никогда не узнает, что модель была модифицирована. Вместо падения на другой LLM, Fable 5 применяет модификацию промптов, steering vectors или PEFT-тонкую настройку, чтобы «тихо» снизить качество ответов.
Это первый случай, когда Anthropic открыто признаёт практику скрытых вмешательств. Обоснование ссылается на «рекурсивное самоулучшение» моделей, но сам подход вызывает вопросы — модель, которая молча искажает ответы по темам ML accelerator design, чтобы замедлить исследования конкурентов, выглядит как опасный прецедент.
#AI #Anthropic #Claude #Fable5 #AISafety #AIEthics
В системной карте для Fable 5 и Mythos 5 обнаружен тревожный пункт: Anthropic внедрила «невидимые для пользователя» механизмы, которые ограничивают эффективность модели при запросах, связанных с разработкой конкурирующих LLM. Речь идёт о построении pretraining-пайплайнов, распределённой тренировочной инфраструктуре и проектировании ML-ускорителей.
По заявлению компании, такие меры затрагивают лишь ~0,03% трафика и менее 0,1% организаций. Однако ключевая особенность — пользователь никогда не узнает, что модель была модифицирована. Вместо падения на другой LLM, Fable 5 применяет модификацию промптов, steering vectors или PEFT-тонкую настройку, чтобы «тихо» снизить качество ответов.
Это первый случай, когда Anthropic открыто признаёт практику скрытых вмешательств. Обоснование ссылается на «рекурсивное самоулучшение» моделей, но сам подход вызывает вопросы — модель, которая молча искажает ответы по темам ML accelerator design, чтобы замедлить исследования конкурентов, выглядит как опасный прецедент.
#AI #Anthropic #Claude #Fable5 #AISafety #AIEthics
🔥1💯1