Архитектура мозга и ИИ: «Вера» как инженер смыслов
(по следам Tafazoli et al., Nature 2025)
Исследование Tafazoli et al. предлагает биологическое решение проблем обобщения и забывания в ИИ - геометрическую композиционность.
Живой мозг не учится с нуля, а переиспользует нейронные популяции, динамически меняя геометрию представлений под текущую задачу.
1. Суперпозиция навыков
Вместо физического разделения нейронов под разные задачи (как в MoE), мозг использует одну плотную сеть, кодируя навыки в ортогональных (непересекающихся) подпространствах. Это позволяет «упаковывать» множество функций в одни и те же "веса" без взаимных помех, что диктует отказ от разреженных архитектур в пользу моделей с геометрическим разделением признаков.
2. «Вера» как операционная система
Внутреннее убеждение о задаче (Task Belief), - это не пассивное знание, а активный управляющий сигнал, который в реальном времени меняет физику обработки информации.
Он работает как динамический фильтр: буквально растягивает пространство важных признаков и сжимает нерелевантные измерения, технически подтверждая тезис «вера определяет восприятие».
3. Маршрутизация вместо переобучения
Сложное поведение формируется как конвейер: мозг берет уже обученные модули (например, «распознавание цвета») и на лету соединяет их выходы с нужными модулями действия.
Будущее ИИ, - не в обучении гигантских монолитов «на все случаи жизни», а в создании умных контроллеров, способных гибко коммутировать неизменяемые функциональные блоки.
#Nature #composition #теория
———
@tsingular
(по следам Tafazoli et al., Nature 2025)
Исследование Tafazoli et al. предлагает биологическое решение проблем обобщения и забывания в ИИ - геометрическую композиционность.
Живой мозг не учится с нуля, а переиспользует нейронные популяции, динамически меняя геометрию представлений под текущую задачу.
1. Суперпозиция навыков
Вместо физического разделения нейронов под разные задачи (как в MoE), мозг использует одну плотную сеть, кодируя навыки в ортогональных (непересекающихся) подпространствах. Это позволяет «упаковывать» множество функций в одни и те же "веса" без взаимных помех, что диктует отказ от разреженных архитектур в пользу моделей с геометрическим разделением признаков.
2. «Вера» как операционная система
Внутреннее убеждение о задаче (Task Belief), - это не пассивное знание, а активный управляющий сигнал, который в реальном времени меняет физику обработки информации.
Он работает как динамический фильтр: буквально растягивает пространство важных признаков и сжимает нерелевантные измерения, технически подтверждая тезис «вера определяет восприятие».
3. Маршрутизация вместо переобучения
Сложное поведение формируется как конвейер: мозг берет уже обученные модули (например, «распознавание цвета») и на лету соединяет их выходы с нужными модулями действия.
Будущее ИИ, - не в обучении гигантских монолитов «на все случаи жизни», а в создании умных контроллеров, способных гибко коммутировать неизменяемые функциональные блоки.
#Nature #composition #теория
———
@tsingular
✍7👍4🤔4❤3🆒3⚡1💯1