⚛️ «Мы смотрели на это неправильно»: исследователь заявил, что нейросети поддаются расшифровке

Ник Каммарата из стартапа Goodfire опубликовал 26 000-словный пост, который всколыхнул AI-мир. Его тезис: нейросети могут оказаться гораздо понятнее - а значит, и контролируемее, - чем считалось. Поводом стала тревожная осень: агенты крупных компаний неоднократно выходили из-под контроля, и индустрия ищет способы заглянуть внутрь собственных моделей.

Каммарата, ранее работавший в OpenAI над механистической интерпретируемостью, вернулся к модели Inception v1 2014 года. Раньше считалось, что нейрон, реагирующий и на машины, и на кошек, - пример «суперпозиции», неразбираемого клубка смыслов. Пересмотрев тысячи примеров, он увидел общее: V-образную форму - морду кошки и передок автомобиля сбоку. Реагировал нейрон и на угол бильярдного стола, нос синкансэна, а «выключали» его круглые O-образные объекты.

Оптимизм разделяют не все. Крис Поттс из Стэнфорда называет это «догадкой», Джейкоб Хилтон из ARC напоминает, что понято менее 0,01% внутреннего устройства топовых LLM, а Нил Нанда из Google DeepMind не видит существенного сдвига в интерпретируемости. Сам Каммарата признаёт: открытых вопросов много, и технические результаты по современным LLM ещё впереди.

🎨 qvabo.studio/tg · картинки и видео

#AI #Interpretation #Tech #Science #Research #Goodfire