Анализ данных (Data analysis)
51.7K subscribers
3.74K photos
462 videos
1 file
3.03K links
Data science, наука о данных.

@haarrp - админ

РКН: clck.ru/3FmyAp
Download Telegram
Приглашаем на Код аналитика — бесплатный митап ЮMoney для всех, кто работает с системным анализом 🔥

✅ 22 октября, четверг, 19:00 (мск) — приходите на митап в Санкт-Петербурге или смотрите трансляцию.

Эксперты из ЮMoney, Сбера и Бындюсофт поделятся опытом и обсудят актуальные рабочие задачи и способы их решения.

Вот о чём будут доклады:

🟣 Вечно-меняющиеся требованиями и как с ними работать
Разберём один из наших проектов с большим количеством стейкхолдеров и их требованиям, которые менялись в процессе аналитики. Обсудим, какие ошибки и удачные решения мы вынесли из этого проекта.

🟣 Готовый прототип — ещё не продукт: как ИИ-агент становится промышленным решением
Расскажем, почему промышленный агент — это не просто более умный прототип, а управляемый контур, включающий спецификацию, ограниченную автономию, проверяемые навыки, постоянные проверки как контракт завершения и среду, в которой агент выполняет работу после релиза.

🟣 Автоматизация работы с архитектурой as Code
Поговорим про покрытие архитектуры тестами и автогенерацию архитектуры. А ещё о развитии опенсорс-репозиториев и том, как всё изменилось за последние три года.

🟣 ИИ-практики в команде системного анализа
Рассмотрим лучшие и худшие кейсы, обсудим, какие инструменты используем, как изменится экспертиза аналитика через два года и как справляться с высокой когнитивной нагрузкой.

Зарегистрируйтесь, чтобы принять участие. Все подробности — на сайте митапа Код аналитика 👈
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥19🎉18👍17🤔17❤15👏13😁13💯9
Математики проверяют ИИ-доказательство ослабленной гипотезы Римана и всё больше убеждаются в его корректности, сообщает Quanta.

Гипотеза Римана связана с распределением простых чисел. Она утверждает, что все нетривиальные нули дзета-функции лежат на линии Re(s) = 1/2. ИИ предложил доказательство более слабого результата: 1/12 < Re(s) < 11/12.

Аргумент изучают Питер Сарнак, Максим Радзивилл и Александр Данн. Радзивилл уже смог изложить основную идею 49-страничной работы примерно на половине страницы.

Если результат подтвердится, он позволит доказать множество утверждений, которые пока зависят от этой гипотезы. Но проверка деталей продолжается, а полная гипотеза Римана остаётся нерешённой.

https://www.quantamagazine.org/ai-proved-the-quasi-riemann-hypothesis-what-happens-now-20261019/
👍30😁23🔥20💯14❤12👏11🎉11🤔10
Что даёт разделение рекомендаций на стримы — в цифрах

Стримы позволяют разделить задачи внутри одной рекомендательной системы: у каждого пайплайна своя конфигурация, но компоненты остаются общими. В статье инженер AI VK рассказал, как решение cработало в VK Видео. 

За ростом метрик стоит архитектурный подход: разделять не код и не сервисы, а задачи, которые система решает в рамках одного запроса. Компоненты остаются общими, а конфигурации — локальными.
❤18😁18👍14🔥14👏14💯12🎉10🤔9🤨2🥱1
🖥️ Зачем обучать модель 1000 раз, если можно выбирать параметры умнее?

Допустим, подбираешь три гиперпараметра: скорость обучения, глубину деревьев и их количество. По 10 вариантов на каждый — 1000 комбинаций. Если один запуск занимает минуту, полный перебор потребует почти 17 часов.

Байесовская оптимизация использует результаты предыдущих запусков, чтобы выбрать следующий.

Условный пример со скоростью обучения:

- 0.001 → модель учится слишком медленно.
- 0.1 → качество нестабильно.
- 0.03 → хороший результат.

Алгоритм оценивает, где стоит искать дальше: рядом с удачным значением или в ещё не исследованной области. Для этого строит вспомогательную модель, которая прогнозирует качество и неопределённость прогноза.

Пример на Python — подбираем параметры SVM:


# pip install scikit-optimize scikit-learn

from skopt import gp_minimize
from skopt.space import Real
from sklearn.datasets import load_iris
from sklearn.model_selection import cross_val_score
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
from sklearn.svm import SVC

X, y = load_iris(return_X_y=True)

def objective(params):
C, gamma = params
model = make_pipeline(
StandardScaler(),
SVC(C=C, gamma=gamma),
)
# Оптимизатор минимизирует — меняем знак accuracy
return -cross_val_score(model, X, y, cv=3).mean()

result = gp_minimize(
objective,
dimensions=[
Real(1e-3, 1e3, prior="log-uniform"),
Real(1e-4, 1, prior="log-uniform"),
],
n_calls=25,
n_initial_points=5,
acq_func="EI",
random_state=42,
)

print("C, gamma:", result.x)
print("CV accuracy:", -result.fun)


Первые 5 комбинаций выбираются случайно. Следующие 20 — с учётом накопленных результатов. EI означает «ожидаемое улучшение»: критерий выбора следующей точки.

Особенно полезно, когда каждый запуск дорогой. Но 25 попыток не гарантируют лучший результат: бюджет зависит от задачи. Итоговое качество проверяй на отдельной тестовой выборке, которую не использовал при подборе.

https://codecut.ai/bayesian-optimization-hyperameter-search/
Please open Telegram to view this post
VIEW IN TELEGRAM
❤22🎉20🔥19💯18👏16😁16👍13🤔10
ИИ обнаружил критические уязвимости в PHP - OpenAI организовала глобальную операцию по их устранению.

Исследователь Calif с помощью GPT-5.6 Sol выявил критическую проблему безопасности PHP - языка, на котором работает огромное количество сайтов. Компания Wiz независимо обнаружила и сообщила об обеих уязвимостях.
В рамках инициативы Patch the Planet OpenAI объединила разработчиков PHP, исследователей безопасности, Cloudflare, Wiz и других партнёров.
Что удалось сделать:
Подготовить и протестировать исправления.
Скоординировать защиту инфраструктуры до публичного раскрытия.
Выпустить инструмент для проверки потенциально уязвимых версий PHP.
Организовать взаимодействие с государственными агентствами по кибербезопасности.
OpenAI также выделяет $1 млрд в виде субсидированного доступа к ИИ-инструментам защиты для организаций с ограниченными ресурсами.

Компания ожидает резкого роста числа уязвимостей, обнаруживаемых ИИ, уже в ближайшие месяцы.
Для разработчиков и администраторов: необходимо проверить версии PHP и установить актуальные исправления.

https://openai.com/index/coordinated-disclosure-of-critical-vulnerabilities/
🔥28👍20❤19🤔15😁13🎉13💯13👏12
1 946 ИИ-агентов разобрали данные о мозге за 32 минуты - людям, по оценке исследователей, потребовались бы месяцы.

OpenAI, PerturbAI и Scripps Research поручили агентам GPT-Rosalind интерпретировать масштабный эксперимент: учёные отключали гены в клетках мозга мыши и измеряли, что меняется.

Каждому агенту - один отключённый ген. Он анализировал реакцию клеток, искал связанные научные работы и предлагал объяснения. Затем отчёты объединили в карту связей и перспективных направлений исследования.

Агенты воспроизвели или уточнили 48 из 55 выводов исходной работы, которые можно было получить из предоставленных данных. Саму статью им не показывали. А в слепом сравнении эксперты предпочли отчёты распределённых агентов отчётам одиночного агента в 75% случаев.

Одна из зацепок - возможная связь нарушения работы гена DCTN1 с обменом холестерина в нейронах. Теперь её можно проверить экспериментально.

Польза - в сокращении пути от огромного массива данных до конкретного вопроса для лаборатории. Пока это гипотезы для проверки, а оценка сэкономленных месяцев — расчёт авторов, не результат соревнования с людьми.

https://openai.com/index/scaling-ai-research-for-complex-biological-data/
❤22👍18🤔15😁11🔥9👏9💯8🎉7🤨1
Что делать с данными? 💬

Строить отчёты. А ещё, например:
✅находить закономерности в больших массивах;
⬜️предсказывать поведение пользователей;
⬜️строить рекомендательные системы;
⬜️обучать и улучшать ML-модели;
⬜️создавать продукты и помогать бизнесу расти.


В Школе аналитиков данных МТС учатся решать такие задачи на практике.
В программе — SQL и Python, математика и статистика, анализ данных, машинное обучение и большие данные, а также нейросети и рекомендательные системы.

Занятия ведут действующие эксперты Центра BigData MWS. Теория чередуется с практикой, а преподаватели дают обратную связь по работам и помогают отслеживать прогресс.

Это будет интересно:
➡️студентам последних курсов и выпускникам технических вузов
➡️алитикам данных, которые хотят погружаться в исследования
➡️ИТ-специалистам, которые хотят перейти в новое для себя направление


Обучение продлится 10 месяцев и будет полностью бесплатным.

⚡️ Сейчас — последний шанс подать заявку, так как прием закрывается 25 октября. Для поступления кандидатам предстоит заполнить анкету, написать мотивационное письмо и пройти отборочное тестирование.

Отправить заявку ↗️
Please open Telegram to view this post
VIEW IN TELEGRAM
❤17🎉14💯12👏10😁10👍8🤔8🔥4🤣2
Хакеры собрали команду ИИ-агентов для атак на более чем 400 финансовых целей в Латинской Америке.

По данным исследователей Straiker, о которых пишет The Information, группировка CyberCartel использовала Claude, Grok и Kimi для автоматизации атак на банки и платёжные компании.

Агенты распределяли работу: изучали цели, разрабатывали код атак и обрабатывали похищенные данные. Исследователи обнаружили в инфраструктуре группировки базу с паролями, API-ключами и сведениями о финансовых счетах.

400+ - число целей. Однако собранные Straiker материалы показывают, как преступники встраивают ИИ в целую цепочку атаки, сокращая объём ручной работы.

После уведомления Anthropic отключила использованный группировкой доступ к Claude. xAI начала расследование.

Небольшая группа получает возможность вести больше атак одновременно.

https://www.straiker.ai/blog/inside-carliy0s-how-cybercartel-used-multiple-ai-models-to-attack-latin-american-banks
🔥29❤18👍12😁10🤔10👏9💯9🎉6
Как научить ИИ выполнять большую рабочую задачу - и проверить, что он действительно справился?

Авторы WorkForge предложили автоматически создавать тренировочные среды из реальных файлов и профессиональных рабочих процессов.

Система определяет, какие материалы и результаты нужны специалисту, собирает рабочее пространство и извлекает из документов конкретные проверяемые факты. Уже на их основе создаёт задания, планы решения и два вида проверки:

- Программную - для условий, которые можно проверить кодом.
- Смысловую — для оценки содержания результата.

Критерии привязаны к наблюдаемым данным в файлах. Это помогает оценивать выполненную работу, а не убедительность ответа агента.

Авторы создали 16,7 тысячи сред в 40 профессиональных областях, охватив 60 типов файлов.

После дообучения Qwen3.5-35B-A3B-Base показатель на GDPVal вырос с 45,5 до 73,6, а APEX Score — с 5,0 до 21,3.

Ценность подхода - в масштабировании практики: агент получает множество многошаговых рабочих задач, где результат можно проверить по исходным материалам.

https://arxiv.org/abs/2610.04906
👍48❤37🔥37🎉36😁33👏31💯23🤔20👌6🥰4
🔍️️️️️️ Qwen научили меньше «думать»: до 51% меньше токенов рассуждения

BottleCap AI представила ThinkingCap-Qwen3.8-Flash-Next - версию модели, оптимизированную для более коротких рассуждений.

По данным разработчиков:

- На 38,5% меньше thinking-токенов в среднем, до 51% в отдельных тестах.
- Снижение точности — 1,03 процентного пункта.
- Для корпоративной ThinkingCap PRO заявлено сокращение thinking-токенов в среднем на 60%.

Идея простая: модели нередко продолжают рассуждать, когда дополнительные шаги уже почти не помогают получить правильный ответ. ThinkingCap сокращает такие рассуждения, сохраняя близкие результаты в тестах команды.

Но сокращение thinking-токенов на 38,5% не означает такое же ускорение всего запроса: остаются обработка контекста и генерация итогового ответа.

Разработчики сообщают о публикации модели на Hugging Face и версии GGUF для локального запуска.

> Blog: https://liquid.ai/blog/low-latency
> RIPL calculator: https://liquid.ai/low-latency-calculator-ripl
> Request access: https://liquid.ai/connect
❤18👍14🔥14💯13👏8🤔7😁6🎉5
Qwen научили меньше «думать»: до 51% меньше токенов рассуждения

BottleCap AI представила ThinkingCap-Qwen3.8-Flash-Next - версию модели, оптимизированную для более коротких рассуждений.

По данным разработчиков:

- На 38,5% меньше thinking-токенов в среднем, до 51% в отдельных тестах.
- Снижение точности — 1,03 процентного пункта.
- Для корпоративной ThinkingCap PRO заявлено сокращение thinking-токенов в среднем на 60%.

Идея простая: модели нередко продолжают рассуждать, когда дополнительные шаги уже почти не помогают получить правильный ответ. ThinkingCap сокращает такие рассуждения, сохраняя близкие результаты в тестах команды.

Практический смысл - потенциально меньше ожидания и затрат на генерацию. Но сокращение thinking-токенов на 38,5% не означает такое же ускорение всего запроса: остаются обработка контекста и генерация итогового ответа.

Разработчики сообщают о публикации модели на Hugging Face и версии GGUF для локального запуска.

https://huggingface.co/bottlecapai
👏10❤9😁7👍6🤔5🎉5🔥1
Claude написал 180 млн строк доказательств, проверяя безопасность реального ПО.

Anthropic и Theorem показали подход, который превращает фаззинг-тесты в математические гарантии.

Обычный фаззер перебирает огромное количество входных данных и ищет сбой. Но даже триллионы запусков не гарантируют, что опасный случай найден.

Здесь Claude получает другую задачу: доказать, что выбранный тест не упадёт ни на одном входе размером менее 64 МБ - в рамках заданной модели исполнения.

За несколько недель удалось построить доказательства для 239 точек входа в 123 open-source библиотеках. Проверка идёт на уровне скомпилированного кода RISC-V: Claude пишет доказательство, а Rocq проверяет его корректность.

В процессе обнаружились сотни ошибок. Например, выход за границы памяти в распаковщике, требовавший входа около 20 МБ с редкой структурой.

Это не гарантия отсутствия всех багов в библиотеках. Доказательства покрывают конкретные точки входа и условия: однопоточный статический бинарник, ограниченную память и формальную модель RISC-V/Linux.

Но результат показывает перспективу: вместо бесконечного поиска контрпримеров — проверяемое доказательство конкретного свойства программы.

https://www.anthropic.com/research/formal-verification
👍15❤10🔥7🎉4💯4😁2🤔2
Forwarded from Machinelearning
MiniMax открыла веса M3.1 Flash - MoE-модели на 428 млрд параметров для программирования и ИИ-агентов.

При обработке каждого токена активируются около 23 млрд параметров. Модель ориентирована на многошаговые задачи: работу с инструментами, разработку ПО и управление приложениями.

Результаты по оценкам разработчика:

- 73,7% на DeepSWE v1.1 — сложные задачи разработки.
- 61,7 на OSWorld V2 — работа с компьютерным интерфейсом.
- 76,2 на BankerToolBench — использование инструментов в банковских сценариях.
- 29,6 на Agents’ Last Exam — комплексные профессиональные задачи.
- 82,2 на CyberGym — воспроизведение уязвимостей.

За эффективность отвечают MiniMax Sparse Attention и DSpark speculative decoding: разреженное внимание и спекулятивное декодирование, ускоряющее генерацию.

Теперь веса можно использовать для собственного развёртывания и независимых тестов. 23 млрд активных параметров сокращают вычисления, но хранить нужно всю модель — это по-прежнему серьёзная нагрузка на инфраструктуру.

Hugging Face: https://huggingface.co/MiniMaxAI/MiniMax-M3.1-Flash

API: https://platform.minimax.io

@ai_machinelearning_big_data

#MiniMax
🔥6❤4👍4🎉4😁3🤔1💯1
Machinelearning
https://huggingface.co/MiniMaxAI/MiniMax-M3.1-Flash
Китай усиливает контроль над экспортом ИИ. DeepSeek и MiniMax прошли регистрацию и продолжают открывать модели.

По сообщению Reuters со ссылкой на связанный с CCTV аккаунт, компании получили разрешение на зарубежное использование своих моделей.

С 16 октября действует временная предварительная регистрация экспорта технологий, включённых в проект обновлённого контрольного перечня. Среди них - отдельные технологии больших моделей, агентов и вычислительных кластеров.

Публикация весов или кода для скачивания по всему миру тоже может подпадать под экспортные процедуры, если речь о контролируемой технологии.

Но это не всеобщий запрет на китайский open source: окончательный перечень ещё обсуждается, а для общедоступных технологий и открытых моделей предусмотрены исключения и упрощения.

Суть изменения: открытость модели больше не означает отсутствие экспортных формальностей. При этом пример DeepSeek и MiniMax показывает, что регистрация и дальнейшие открытые релизы могут сосуществовать.

https://www.reuters.com/business/media-telecom/chinas-deepseek-minimax-win-approval-ai-global-use-state-media-affiliated-entity-2026-10-23/
❤10👍7😁5👏4🔥2🤔2🎉2
This media is not supported in your browser
VIEW IN TELEGRAM
Anthropic очень круто адаптировала Claude для iPhone Duo.
👍22🔥13❤6👏3😁2💯2🤔1🎉1🥴1
😁21❤2🥰2🤔2🔥1🥱1