ИИ раскрыл новые физические законы на задаче по анализу пылевой плазмы
Команда из Emory University показала, как правильно обученная нейросеть может находить новые физические законы в экспериментальных данных.
Модель была обучена на реальных экспериментальных данных (3D-трекинг лазерной томографией), а не на симуляциях с синтетическими параметрами.
Результат — точность R² > 0.99 при предсказании траекторий частиц и открытие неожиданных отклонений от классической теории.
Техническая архитектура:
- 3 независимые нейросети для разных типов сил: межчастичные взаимодействия, внешние силы, демпфирование
- Встроенные физические симметрии в архитектуру (трансляционная инвариантность в xy-плоскости)
- "Weak form" loss function — фильтрация ускорений через интегрирование вместо зашумленных производных
- Масштабирование O(N²) для N частиц
Неожиданные открытия:
- Эффективная длина экранирования λ зависит от размера частиц (вопреки теории)
- Заряд частиц q ∼ m^p, где p = 0.30-0.80 (теория предсказывает p = 1/3)
- Показатель p растет с давлением газа — намек на коллизионные эффекты
Подход экспериментально проверен и опубликован в PNAS.
Технология применима для изучения явлений от колец Сатурна до земной ионосферы.
Кто-то тут недавно спрашивал, - когда уже ИИ начнет открытия в реальном мире делать,- получите, распишитесь.
#MachineLearning #Physics #Plasma #ScientificML
———
@tsingular
Команда из Emory University показала, как правильно обученная нейросеть может находить новые физические законы в экспериментальных данных.
Модель была обучена на реальных экспериментальных данных (3D-трекинг лазерной томографией), а не на симуляциях с синтетическими параметрами.
Результат — точность R² > 0.99 при предсказании траекторий частиц и открытие неожиданных отклонений от классической теории.
Техническая архитектура:
- 3 независимые нейросети для разных типов сил: межчастичные взаимодействия, внешние силы, демпфирование
- Встроенные физические симметрии в архитектуру (трансляционная инвариантность в xy-плоскости)
- "Weak form" loss function — фильтрация ускорений через интегрирование вместо зашумленных производных
- Масштабирование O(N²) для N частиц
Неожиданные открытия:
- Эффективная длина экранирования λ зависит от размера частиц (вопреки теории)
- Заряд частиц q ∼ m^p, где p = 0.30-0.80 (теория предсказывает p = 1/3)
- Показатель p растет с давлением газа — намек на коллизионные эффекты
Подход экспериментально проверен и опубликован в PNAS.
Технология применима для изучения явлений от колец Сатурна до земной ионосферы.
Кто-то тут недавно спрашивал, - когда уже ИИ начнет открытия в реальном мире делать,- получите, распишитесь.
#MachineLearning #Physics #Plasma #ScientificML
———
@tsingular
👍13🔥6⚡3❤1🤔1🐳1
🧲 Физики раскрыли причину галлюцинаций ChatGPT — AI оказался похож на систему спинов с предсказуемыми точками перехода
Исследователи из George Washington University математически доказали: галлюцинации AI — не баг, а физическое свойство архитектуры. И вывели формулу, позволяющую предсказать момент срыва.
Суть открытия простыми словами:
Представьте каждое слово в ChatGPT,- как магнит в многомерном пространстве.
Когда вы пишете промпт — вы ставите первые магниты на доску.
AI смотрит на их общее «магнитное поле» и выбирает следующее слово-магнит, которое лучше всего к нему притягивается.
Проблема: после определенного количества «правильных» слов система внезапно переключается на «неправильные» — даже если промпт был корректным.
Техническая механика срыва:
• Attention head (базовый блок любой LLM) работает как система взаимодействующих спинов
• Каждое взаимодействие = физический гамильтониан: H = −S₁·S₂
• Система всегда выбирает состояние с минимальной энергией
• Критический момент: когда «плохой» контент становится энергетически выгоднее «хорошего»
Формула срыва — когда AI начнёт галлюцинировать:
Число n* показывает, сколько правильных токенов выдаст модель до срыва.
И это «зашито» с момента старта ответа — все векторы уже определены обучением и вашим промптом.
Судьба предопределена. :)
Почему в больших моделях проявляется хуже:
В многослойных LLM (типа GPT-4) происходит эффект усиления:
• Токены проходят десятки слоёв, испытывая «слияние и расщепление»
• Формируются гигантские кластеры, объединяющие правильный и неправильный контент
• К финальному слою они оказываются в одном подпространстве → срыв неизбежен
Предложенные решения:
1. Gap cooling — увеличение «расстояния» между правильными и неправильными ответами в пространстве смыслов перед критической точкой
2. Temperature annealing — динамическая регулировка «температуры» генерации для баланса между креативностью и стабильностью
Практическая ценность:
• Формула универсальна — работает для любого размера словаря и будущих версий ChatGPT
• Можно заранее оценить риск галлюцинаций для конкретного промпта
• Модели смогут предупреждать о приближении к точке срыва
Вывод: галлюцинации очень похожи по сути на физические процессы, а значит физика же и может помочь их снизить или даже убрать.
#Physics #галлюцинации
———
@tsingular
Исследователи из George Washington University математически доказали: галлюцинации AI — не баг, а физическое свойство архитектуры. И вывели формулу, позволяющую предсказать момент срыва.
Суть открытия простыми словами:
Представьте каждое слово в ChatGPT,- как магнит в многомерном пространстве.
Когда вы пишете промпт — вы ставите первые магниты на доску.
AI смотрит на их общее «магнитное поле» и выбирает следующее слово-магнит, которое лучше всего к нему притягивается.
Проблема: после определенного количества «правильных» слов система внезапно переключается на «неправильные» — даже если промпт был корректным.
Техническая механика срыва:
• Attention head (базовый блок любой LLM) работает как система взаимодействующих спинов
• Каждое взаимодействие = физический гамильтониан: H = −S₁·S₂
• Система всегда выбирает состояние с минимальной энергией
• Критический момент: когда «плохой» контент становится энергетически выгоднее «хорошего»
Формула срыва — когда AI начнёт галлюцинировать:
n* = [сумма взаимодействий промпта с хорошим/плохим контентом] /
[разница энергий между хорошим и плохим контентом]
Число n* показывает, сколько правильных токенов выдаст модель до срыва.
И это «зашито» с момента старта ответа — все векторы уже определены обучением и вашим промптом.
Судьба предопределена. :)
Почему в больших моделях проявляется хуже:
В многослойных LLM (типа GPT-4) происходит эффект усиления:
• Токены проходят десятки слоёв, испытывая «слияние и расщепление»
• Формируются гигантские кластеры, объединяющие правильный и неправильный контент
• К финальному слою они оказываются в одном подпространстве → срыв неизбежен
«Чем больше слоёв в модели (L_LLM), тем выше вероятность формирования супер-токенов, смешивающих хороший и плохой контент»
Предложенные решения:
1. Gap cooling — увеличение «расстояния» между правильными и неправильными ответами в пространстве смыслов перед критической точкой
2. Temperature annealing — динамическая регулировка «температуры» генерации для баланса между креативностью и стабильностью
Практическая ценность:
• Формула универсальна — работает для любого размера словаря и будущих версий ChatGPT
• Можно заранее оценить риск галлюцинаций для конкретного промпта
• Модели смогут предупреждать о приближении к точке срыва
Вывод: галлюцинации очень похожи по сути на физические процессы, а значит физика же и может помочь их снизить или даже убрать.
#Physics #галлюцинации
———
@tsingular
⚡11✍6❤3👍3🆒1