🧠 MLR-Bench — на пути автоматизации научных исследований

Идея автоматизации науки давно витает в воздухе — и постепенно становится предметом системного исследования. В этой работе авторы представляют MLR-Bench — бенчмарк для оценки качества научных работ, сгенерированных LLM и агентными системами.

Бенчмарк включает:
🟣201 научную задачу (на основе анализа публикаций топ-конференций за последние 3 года);
🟣MLR-Judge — систему оценки по критериям новизны, значимости и последовательности;
🟣MLR-Agent — агента, способного генерировать идеи, планировать исследования, писать и запускать код, а также оформлять текст статьи.

Агент может работать в двух режимах: end-to-end или пошагово (идея → план → эксперименты → текст).

Авторы статьи показывают, что MLR-Bench даёт довольно хорошие результаты при оценке работ.

Сравнение с 10 ML-экспертами показывает, что распределение различий между экспертами ≈ различиям между LLM и экспертами. Помимо этого, оценки MLR-Judge во многих случаях напрямую согласуются с экспертными.

Кроме того, авторы отмечают ряд закономерностей в поведении агентов при написании работ. Во-первых, действительно новые идеи встречаются редко — чаще это комбинации существующих подходов. При этом моделям сложно убедительно объяснить значимость и полезность предложенного метода.

Во-вторых, заметны проблемы с кодом. Частая ситуация: код не запускается (например, из-за зависимостей), но агент при этом генерирует правдоподобные результаты и аккуратные графики, как будто всё отработало корректно. И это не полностью исправляется даже явными инструкциями.

Общий вывод авторов довольно сдержанный:
➡️ пока рано говорить об автоматизации научных исследований

Во многом из-за непрозрачности процесса — не всегда понятно, как получен результат и можно ли ему доверять. Авторы позиционируют работу как один из первых шагов к повышению доверия к AI-исследованиям.

Как вам кажется: мы движемся к автоматизации науки — или к росту числа «красивых, но сомнительных» результатов?

И главный вопрос: долго ли продержится классическая наука в текущем виде? 👇

Обзор статьи подготовлен командой AI VK
#обзорстатьи

🤖 Любимая платформа вайбкодеров Lovable допустила 🚰 утечку переписок пользователей с ИИ

Популярная платформа для создания веб-приложений Lovable с помощью 🤖ИИ (реализующая концепцию «vibe coding») оказалась в центре скандала, связанного с утечкой данных и переписок с ИИ. Lovable сейчас пользуется около 8 миллионов пользователей.

Исследователь обнаружил критическую уязвимость (BOLA — Broken Object Level Authorization) и забил 🥁тревогу. API платформы корректно проверяло токены аутентификации Firebase (подтверждая, что вы — зарегистрированный пользователь), но полностью игнорировало проверку прав собственности на эндпоинтах /projects/{id}/*. Это означает, что любой зарегистрированный пользователь мог подставить ID чужого проекта в запрос и система отдавала данные, считая, что раз токен валиден, доступ разрешен.

Как утверждает ресёрчер, любой пользователь с бесплатным аккаунтом мог через простые API-запросы получить доступ к чужим проектам. Виден был исходный код, ключи от баз данных (credentials), личные данные реальных людей (имена, ссылки на LinkedIn) и, что самое страшное, ✋ полная история общения разработчиков с ИИ-чатом.

Что это значит? Пользователи использовали нейросеть как помощника при разработке и без задней мысли скидывали ей логи с ошибками, обсуждали схемы баз данных и делились учетными данными, включая пароли. В логах фигурировала чувствительная информация, вплоть до идентификаторов клиентов платежной системы (Stripe Customer ID).

Исследователь заявил, что первый отчет об уязвимости был отправлен через платформу HackerOne еще 48 дней назад, но ему присвоили статус «triaged» (взят в работу) и по факту проигнорировали. Более того, Lovable закрыли эту уязвимость только для новых проектов, оставив старые полностью открытыми для несанкционированного доступа.

Как такое могло произойти? Изначально Lovable работали по принципу GitHub. Если проект имел статус «Публичный» (а на бесплатном тарифе все проекты были именно такими), то публичным было всё: и код, и история чата с ИИ. Компания считала это нормальным образовательным процессом. Зачем? 🤔Чтобы люди смотрели, как другие создают приложения, и учились.

Разработчики Lovable не учли, что пользователи трактовали слово «Публичный» иначе. Люди думали, что открытым будет только готовый опубликованный сайт, а их рабочая переписка с ИИ (где они «светили» секреты) остается приватной. Осознав ошибку, Lovable разрешили всем делать проекты закрытыми и программно заблокировали доступ к чатам публичных проектов. Но во время обновления серверов в феврале они случайно откатили этот патч и снова выставили чаты на всеобщее обозрение.

Когда багхантеры начали массово репортить об этом на HackerOne, триажеры (модераторы) платформы ошибочно закрывали тикеты без передачи их команде разработчиков. Они сверялись с неясной документацией Lovable и думали: "Ну, это же публичный проект, значит, чаты должны быть видны всем. Это задумка авторов, а не уязвимость".

💔 На данный момент Lovable официально признали свою ошибку, извинились и принудительно закрыли доступ ко всем чатам (публичные проекты).

Всё, что вы когда-либо писали в чат с ИИ (логи ошибок, схемы БД, пароли, Stripe Customer ID, ключи, личные данные и т.д.), уже могло быть прочитано посторонними — особенно если проект был создан до декабря 2025 года и стоял на «публичном» статусе.

— комментируют в X.

🔐Пользователям настоятельно рекомендуется сменить пароли, если они отправлялись ИИ в чат.

✋ @Russian_OSINT

🈁 Anthropic тайно устанавливает🕵️шпионское ПО при установке Claude Desktop?

Исследователь Александр Ханфф обнаружил, что приложение Claude Desktop для macOS от компании Anthropic тайно и без согласия пользователей устанавливает незадокументированный мост Native Messaging.В ходе отладки он нашел в папке своего браузера 🌐Brave конфигурационный файл (com.anthropic.claude_browser_extension.json), который заранее дает разрешение трем конкретным расширениям 🧊 Chrome запускать исполняемый файл (chrome-native-host) вне защищенной «песочницы» браузера на уровне привилегий пользователя. Утверждается, что скрытая установка бэкдора происходит в момент установки десктопного приложения, даже если пользователь никогда не устанавливал сами браузерные расширения Claude.

При установке и запуске Claude Desktop (macOS) приложение автоматически (без какого-либо уведомления, галочки или запроса согласия) создаёт в папках браузеров файл: ~/Library/Application Support/[Browser]/NativeMessagingHosts/com.anthropic.claude_browser_extension.json

— возмущается исследователь.

Приложение целенаправленно и массово внедряет этот манифест в системные пути семи различных браузеров на базе Chromium (Chrome, Edge, Brave, Arc, Chromium, Vivaldi, Opera), причем создает нужные папки даже для тех браузеров, которые вообще не установлены на компьютере. Журналы (логи) самого Claude Desktop подтверждают эти действия.

🧹🧹Простое удаление файла пользователем не решает проблему: при каждом новом запуске Claude Desktop автоматически восстанавливает и перезаписывает эти манифесты, что является классическим «темным паттерном» (dark pattern).

В случае активации хотя бы одним из указанных расширений этот мост предоставляет Anthropic пугающе широкие возможности по контролю над браузером. Согласно собственной документации компании, функционал включает использование текущих авторизованных сессий пользователя (без необходимости повторного входа на сайты), чтение отрендеренного DOM-дерева и автоматическое заполнение форм. На практике это означает, что мост способен считывать в виде простого текста пароли в момент их ввода, номера кредитных карт и расшифрованные личные сообщения прямо с экрана, обходя защиту HTTPS и сводя на нет изоляцию между различными пользовательскими профилями.

По мнению исследователя, наличие такого «спящего» бэкдора создает критические угрозы безопасности компьютера, значительно расширяя поверхность атаки. Если хотя бы одно из трех разрешенных расширений будет скомпрометировано (например, через атаку на цепочку поставок, взлом аккаунта разработчика или вредоносное обновление), злоумышленники получат прямой доступ к выполнению кода вне песочницы браузера на устройстве жертвы. Ситуация усугубляется тем, что по собственным данным Anthropic расширение Claude для Chrome уязвимо к атакам типа «инъекция промпта» (с вероятностью успеха до 23,6%), что дает потенциальный вектор атаки от вредоносного веб-сайта прямо к операционной системе.

🥷 Автор статьи классифицирует этот скрытый механизм чуть ли не как spyware.

🤖Другие эксперты считают, что в данном случае Anthropic не пытается тайно следить за пользователями. Проблема возникала не из-за злого умысла, а из-за вопиющей инженерной небрежности и наплевательского отношения к приватности (UX поставили выше безопасности).

⚖️Ханфф утверждает, что подобные действия нарушают статью 5(3) Директивы ЕС о конфиденциальности электронных коммуникаций (ePrivacy Directive), которая требует получения явного согласия пользователя перед сохранением информации на его устройстве, за исключением случаев, когда это строго необходимо для предоставления услуги. Исследователь пока не подал официальную жалобу в регулирующие органы, но заявляет, что планирует сделать это, если Anthropic не примет должные меры.

👆Anthropic пока никак не отреагировали.

✋ @Russian_OSINT

Обещали напомнить — напоминаем 🩵

19 сентября встречаемся на Practical ML Conf — хардовой конференции по практическому применению ML, где будем обсуждать технологии, которые уже сейчас приносят пользу бизнесу.

🔛 Если у вас есть тема, о которой хочется рассказать сообществу, — заполняйте заявку, чтобы стать спикером конференции. Приём заявок открыт до 22 мая.

Программный комитет отбирает доклады, опираясь на четыре основных критерия: пользу и новизну для сообщества, применимость на практике и хардовый уровень сложности.

Что мы предлагаем со своей стороны:

⚪️ Эксперты программного комитета дадут советы по структуре и содержанию доклада

⚪️ Прогоны материала вместе с тренером по публичным выступлениям

⚪️ Нетворкинг с сильным ML-комьюнити

⚪️ Промо спикеров и докладов до и после конференции

⚪️ И самое главное — вы сможете стать частью главной конференции Яндекса по машинному обучению

🔳 Подать заявку на выступление (до 22 мая)
🔳 Заполнить форму ранней регистрации

Подписывайтесь:
🔗 @Practical_ML_Conf