Product × Science
5.81K subscribers
269 photos
5 videos
37 files
443 links
I diagnose with data and treat with design.

More hardcore materials here – @co_intelligence

@martsen | https://pxs.md
Download Telegram
Кто в ответе? Напряжённый союз автоматизации и человеческого поведения
Выдержки из статьи Who’s in charge? The fraught union of automation and human behavior

Автоматизация повсеместна — от автопилота в самолётах до циклов стиральной машины у вас дома. А с появлением современного искусственного интеллекта компьютеры и машины берут на себя всё больше задач.
https://knowablemagazine.org/content/article/mind/2026/design-automated-systems-with-human-psychology-in-mind

Это не обязательно означает исчезновение человеческих рабочих мест, но они меняются — от непосредственного выполнения задачи к контролю за машиной, которая её выполняет, говорит Рон Маклеод из Глазго, Шотландия. Отставной специалист в области «человеческого фактора», Маклеод всю карьеру изучал, как человеческий мозг и автоматизация работают вместе — или не работают — в промышленных условиях, например в пультах управления нефтеперерабатывающих заводов. В феврале 2026 года Маклеод выпустил книгу на эту тему: Transitioning to Autonomy: The Psychology of Human Supervisory Control («Переход к автономности: Психология человеческого супервизорного контроля»).

Переход к роли супервизора несёт как технологические, так и психологические вызовы, считает Маклеод. Человеческий разум быстро скучает и отвлекается, и не всегда готов мгновенно вмешаться, если машине потребуется помощь. Но дело не только в этом. Системы — будь то пульты управления, кабины пилотов или автоматические спортивные судьи — должны проектироваться так, чтобы эффективно работать вместе с людьми, а не исключать их из процесса. А инженеры и дизайнеры не всегда понимают, как сбалансировать датчики и действия автоматизированных систем с потребностями и возможностями людей, которые за ними наблюдают.

Это распространённая проблема: в каких условиях человеку разрешено вмешиваться в работу автоматизации или когда автоматизация может отменить решение человека? Например, в автомобиле: когда включён автопилот, если я нажимаю на тормоз, система отключается и я возвращаю управление себе. Она позволяет мне перехватить управление.
Что должны делать автопроизводители, чтобы облегчить водителям этот переход?
В моём автомобиле, как только я убираю руки с руля, я сразу оказываюсь в супервизорной роли. Мне нужна другая информация. Мне не нужно знать, на какой передаче я еду; мне даже не обязательно знать текущую скорость. Мне нужно понимать: кто контролирует — я или машина? И мне нужно знать, о чём «думает» машина, видит ли она приближающуюся угрозу?

Когда контроль за автоматизацией даёт сбой - либо в момент работы, либо ещё на этапе проектирования или обучения, то последствия могут быть катастрофическими.

Одна из ключевых проблем — это баланс полномочий между людьми и автоматизацией. Кто на самом деле контролирует?

Это проявилось во время теннисного чемпионата Уимблдон в 2025 году. Впервые Уимблдон передал полные полномочия автоматизированной системе определения попадания мяча — Hawk-Eye — решать, был мяч «в» или «аут».
Это был четвертьфинал женского одиночного разряда: Анастасия Павлюченкова против Сонай Картал. Картал ударила мяч, который явно был аутом, но автоматика не зафиксировала это как аут. Игроки видели это, судьи видели, весь мир, смотревший трансляцию по телевизору, видел, что мяч был аутом, но главный судья не имел права отменить решение автоматизированной системы. Судья заставил пару переиграть очко, и Павлюченкова проиграла эту игру, хотя в итоге выиграла матч.

Оказалось, что это была человеческая ошибка: систему случайно отключили. Организаторы были очень смущены, и их первой реакцией — вместо признания, что они имеют дело со сложной системой, зависящей от человеческого поведения, — стало общее заверение, что они внесли изменения, чтобы предотвратить повторение ошибки. Но на следующий день произошёл ещё один ошибочный вызов. Они не извлекли правильный урок: система не на 100 % надёжна, поэтому люди всё равно нужны.

Конкретно для автомобилей Национальный совет по безопасности на транспорте США (NTSB) недавно провёл совещание по итогам расследования двух смертельных аварий 2024 года, в которых внедорожники Ford Mustang в режиме частичной автоматизации врезались в остановившиеся на трассе автомобили. В обоих случаях водители Ford были не в состоянии или отвлеклись от контроля за автоматизированным вождением. NTSB рекомендовал автопроизводителям устанавливать системы, снижающие риск потери бдительности или самоуспокоенности водителей при работе автоматизации.
Эти системы должны отслеживать состояние самих супервизоров-человек, которые supposed to следить за автоматизированным вождением. Уже проведено много исследований и разработок продуктов для мониторинга уровня бодрствования. Они делают это, например, отслеживая движения глаз, положение головы.

Похожий пример: многие годы в железнодорожной отрасли некоторых стран использовали устройство «бдительности», чтобы убедиться, что машинист не уснул — ведь его задача очень монотонная. Это простой звуковой сигнал, который срабатывает каждые 30 секунд. Машинист должен нажать кнопку, чтобы отключить звук. Технология очень простая, но, похоже, эффективно гарантирует, что машинист не спит.
(В СНГ - это тест точка на кругу для машинистов метрополитена и РЖД - В.Б.)

И не у всех есть когнитивные способности, необходимые для вождения в роли супервизора. Стоит ли включать в экзамен на права проверку, способен ли человек принимать такие решения? Я не знаю, но в этом направлении нужно больше исследований.
Что ещё можно сделать, чтобы помочь человеческим супервизорам оставаться вовлечёнными и эффективными в других автоматизированных ситуациях?

Суть проблемы на самом деле не так сложна. Всё сводится к хорошему дизайну. Если вы понимаете, что переводите людей из роли исполнителя в супервизорскую роль, то на стороне системы нужно проектировать пользовательский интерфейс, исходя из понимания: в чём заключается задача человека? Какая информация ему нужна? Как это оптимизировать?

Для пользователя важно учитывать обучение, системы мотивации, рабочую нагрузку и конкурирующие задачи. Компании должны обеспечить, чтобы люди, контролирующие автоматизацию, прошли обучение и понимали, что входит в их супервизорскую роль: например, какие признаки или информацию они должны искать, где эта информация находится и что может произойти, если что-то пойдёт не так.

И, например, не создавать стимулов, которые отбивают у супервизора желание принимать правильные решения. Когда я работал в нефтегазовой отрасли, было несколько случаев, когда сотрудники в пультовых вмешивались и останавливали или снижали производство — а у этого есть прямая долларовая стоимость. Они поступили правильно, но их за это винили.
🦄3🔥2🖕1
На прострах интернета найден интересный курс по ExplainableAI (редкие материалы, а тут еще и на русском!)

Вот емкая фраза из начального модуля, которую важно осознать всем, кто занимается аналитикой в ML-продуктах:

Хорошая метрика не гарантирует, что модель работает правильно.


Ниже про сам курс. Низкий поклон людям, которые приложили к этому руку.
❤6
Forwarded from Data Blog
Мы выпускаем образовательный ресурс open-xai.

Привет, друзья! Я шла к этому очень долго и наконец-то готова выпустить образовательный ресурс open-xai!

Ресурс построен как точка, где можно учиться просто всему, что есть в интерпретируемости. От классических методов, до геометрии и математики в моделях.


Сейчас в нем:

⁃ 2 трека. XAI Practitioner — объяснять поведение моделей руками, от классики до LLM. Math of LLMs — математика и mechanistic interpretability изнутри модели, на уровне весов и схем.
⁃ 17 тематических блоков — сквозняком от линейной регрессии до Sparse Autoencoders.
⁃ 50+ методов интерпретируемости.

Мы открываем ресурс и открываем первые два модуля (часть ресурса будет бесплатной и такие блоки будут открываться первыми сейчас).

Открытые с сегодня блоки погружают в термины и мир интерпретируемых моделей. После модулей вы никогда больше не сможете смотреть на них прежними глазами)


Это только начало галактики — и новые модули будем докатывать. Для понимания апдейтов можно завести аккаунт: https://open-xai-platform.web.app/register (письмо-подтверждение может упасть в спам — гляньте туда, если не пришло).

Тыкать, пробовать и делать баг-репорты (мы надеемся, что последнего будет мало) сюда: https://open-xai-platform.web.app
🔥10👍1
Добавляю коммерческую нотку к инфе выше в виде слайда от Дмитрия Долгова (CEO Waymo) из лекции для Y Combinator (это такой большой, популярный, богатый и престижный акселератор в Долине).

Метрики, медологии верификации и валидация (V&V), интерпретируемость и объяснимость моделей – это ценнейший актив компаний, которые разрабатывают ИИ-системы, влияющие на критически-важные структуры повседневности.

В самой лекции повествуюется о семи уроках, которые получены в процессе построения бизнеса в Physical AI.

https://youtu.be/Gp4zrV3-6N8?si=Ed6A3XeE98Fb75Jl

Дмитрий выделил целый блок про то, что "методологии оценки и валидации - это конкурентное преимущество компании". Только здесь он использует термин moat (ров), которое ввёл Уорен Баффет - оно чуть шире и интереснее.

Более глубоко описано у моего любимого тех инвестора (ссылка на мой пост из 2019-го).
❤4
Великий и могучий на страже экономии токенов (не экономит, но повышает чёткость постановки задачи и успех ее выполнения) и повышения эффективности внедрения искусственного интеллекта в ежедневные процессы:

https://github.com/smixs/pohuy
❤10🗿8
Кулуарные посиделки, тех.тренды и вижн топовых экспертов индустрии

https://deeptechnight.ru/

Настоятельно рекомендую подать заявку на оффлайн часть посетить мероприятие лично. Или как минимум послушать онлайн. Докладчики огонь, со многими работал/работаю или слышал о них много хорошего.

В онлайн-программе два трека:
- Hard про техническую нутрянку и масштабирование AI-продуктов; здесь порекомендую Сергея Мельника - он курирует трек роботов и автономного транспорта в Яндексе (это искренняя реклама моего босса)
- Experiment про кейсы внедрения искусственного интеллекта; здесь нужно послушать Александра Сафронова про Мою волну (раньше мы с Сашей много и плотно думали про формализацию и оценку счастья слушателя); за последний год персонализация в Музыке сделала еще один шаг, о котором интересно послушать из первых уст.

Ну и, имхо, хедлайнер - Мо Гавтад, ex-Google X - это подразделение Alphabet, которое продумывает технологии и продукты с 20+ летним горизонтом окупаемости. Яркий пример в контексте моей работы - Google Self-Driving Car Project ныне известный как Waymo.

Лично с Мо не знаком, но ранее работал с его коллегами и слушал их кейноуты на других конференциях. Вот мой любимый пример одного из выступлений от сотрудников Google X, который вдохновил меня думать дальними горизонтами.

В оффлайне еще будет трек с практикой, но тут оставлю завесу тайны. Регистрируйтесь и приходите. Количество мест на площадке ограничено, на след неделе последний шанс получить инвайт.
👍7❤2🐳2🔥1
Forwarded from 42 секунды
FT: Uber объединяется с профсоюзами водителей, чтобы замедлить внедрение роботакси

– Столкнувшись с конкуренцией Waymo, Uber нашел неожиданных союзников
– Обычно Uber обходил стороной регулирование и права работников
– Недавно Uber присоединился к профсоюзам, чтобы помешать роботакси
– Uber выступает за более медленное внедрение роботакси в США
– Компания хочет обязать платформы использовать «гибридные сети»
– Платформы должны сочетать водителей-людей и роботакси
– Когда-то Uber пренебрегал правами работников во имя инноваций
– Однако теперь Uber столкнулся с кризисом на основном рынке
– Uber заявил, что из-за Waymo доходы водителей-людей снижаются
– Конкуренты считают, что Uber преследует корыстные интересы
– Uber давно занимается роботакси, но отстает от конкурента Waymo
– Компания хочет раздробить рынок, оставив себе роль агрегатора
– Uber не хочет потерять свои комиссионные доходы от водителей и др.

@ftsec
👍5🌚5🐳3❤2
Это мы включаем
🦄15🔥3
Маршак про цифровую трансформацию и искусственный интеллект.
❤14🔥11🌚6🦄4🏆1
Немного робоогонька вам в ленту

P.S.
Реальная фотка, не нейроки (хотя дизайн может и нейронный, фиг знает как это придумали)
🔥10🦄3
Фуф, отлегло. Работаем-с дальше
👍6🔥3🏆2
Forwarded from Яндекс
Яндекс переносит суперкомпьютеры «Ляпунов», «Галушкин» и «Червоненкис» на новые площадки

После запуска оборудование снова войдёт в инфраструктуру сервисов Яндекса. Кроме того, на нём продолжат обучать фундаментальные языковые модели.
🔥16❤12🌚2
Forwarded from Data Secrets
Media is too big
VIEW IN TELEGRAM
В Meta FAIR* придумали алгоритм, который обгоняет k-means

Давненько не выходили такие громкие статьи по классическому ML. Разбираемся.

k-means – это простейший алгоритм кластеризации, но при этом один из самых используемых. Он используется для векторного поиска и RAG, кластеризации эмбеддингов, чистки и балансировки датасетов, квантизации весов и KV-кэша, создания кодбуков для токенов изображений и аудио, анализа данных, поиска аномалий и тд и тп.

В общем, уже десятки лет k-means является золотым стандартом. Работает он так: берет набор точек данных, случайно размещает среди них K пробных центров, относит каждую точку к ближайшему центру, а затем сдвигает каждый центр в среднее положение своих точек и повторяет так несколько эпох, пока центры не перестанут двигаться.

Понятно, что на миллиардах векторов каждый такой проход очень дорогой, поэтому, конечно же, в индустрии уже придумали много способов удешевлять k-means. Например, есть мини-батч k-means, который обновляет центры чаще, по маленьким кусочкам данных. Такие штуки работают быстрее, НО сходятся к заметно худшему качеству.

Однако авторы этой статьи утверждают, что их алгоритм способен достичь качества классического k-means всего за 1.4-2.6 эпохи. Против Flash-KMeans (сильно оптимизированный GPU k-means) ускорение по времени получается от 9.5x до 45.5x.

Они предлагают пересчитывать центры экспоненциальным скользящим средним по батчам. Для каждого кластера хранится, сколько в нем точек и чему равна их сумма, а с каждым новым батчем эти значения обновляются так, что свежие данные весят больше, а старые постепенно забываются. Центр кластера при этом остается обычным средним, то есть суммой, деленной на количество.

Благодаря такому подходу центры начинают двигаться уже после первых батчей, а не после полного прохода по данным, а размер батча и шаг обновления считаются по готовым формулам, поэтому никакие гиперпараметры подбирать вручную не нужно.

В итоге e-means достигает качества классического k-means в разы быстрее и даже с чуть меньшим лоссом. На самом большом тесте, 10 миллиардах эмбеддингов и 16 миллионах кластеров, ему понадобилось почти в 9 раз меньше GPU-часов.

Представьте, что это значит для тех же RAG-систем на огромных базах, где построение индексов съедает тысячи часов работы видеокарт.

Статья | Код | Проект
👍16
Готовая методичка для ai eval от Антропиков: заранее фиксировать метрики и пороги, проверять оценщиков на экспертах, считать доверительные интервалы.

https://www.anthropic.com/research/building-strong-safety-evaluations

——

Дополнительно: релевантный пейпер от Apple – Evaluating the Evaluators

https://machinelearning.apple.com/research/evaluating-evaluators-llm-judges


——

Скажу как практик Physical AI Evals, что их методочка написана в стиле "просто делайте 1-2-3", но на практике это труд десятков и сотен инженеров. Но схема верна :)
❤6🦄3🌚1