🎧 Perch 2.0 — AI, который слушает природу и спасает вымирающие виды.

DeepMind выпустили Perch 2.0 — компактную supervised-модель для биоакустики.

Без миллиардов параметров, без сложного self-supervised обучения — просто аккуратная модель, которая побила все бенчмарки и уже работает в полевых исследованиях.

🌱 Почему это важно
Звуки природы — это источник данных о биоразнообразии.
По аудиозаписям можно понять:
- какие животные живут в лесу,
- сколько их,
- размножаются ли они,
- не вытесняются ли они человеком.

Но расшифровка аудио — адский труд: в одном часе записи из тропиков десятки накладывающихся голосов.

🐦 Что умеет Perch 2.0
Perch 2.0 — универсальный эмбеддер для звуков животных.
Берёт 5 секунд аудио → выдаёт вектор, с которым можно:
- находить похожие записи,
- кластеризовать звуки,
- обучать простой классификатор для новых видов (few-shot).

⚡ Работает без GPU и без дообучения.

🛠 Архитектура
- Основa: EfficientNet-B3 (12M параметров).
- Три головы:
1. Классификация ~15k видов.
2. Прототипная — создаёт семантические логиты для distillation.
3. Source prediction — угадывает источник записи.
- Обучение в два шага:
1. Прототипная голова учится сама.
2. Её логиты становятся soft-label’ами для основной (**self-distillation**).

📊 Результаты
- SOTA на BirdSet и BEANS (ROC-AUC, mAP).
- Отличная переносимость на морских данных (киты, дельфины), которых почти не было в тренировке.
- Всё это — без fine-tuning, только фиксированные эмбеддинги.

Главный вывод
Perch 2.0 показывает, что:
🟢 качественная разметка,
🟢 простая архитектура,
🟢 чёткая постановка задачи
могут быть важнее, чем «бесконечные параметры» и сложные LLM.

🌍 Что это меняет
- Биологам — быстрый анализ джунглей Бразилии или рифов без написания своих моделей.
- ML-инженерам — наглядный пример, как обучать компактные сети без потери качества.
- Исследователям — напоминание: не всегда нужен GPT-4, чтобы сделать полезный инструмент.

🟠Github: https://github.com/google-research/perch-hoplite
🟠Подробнее: https://deepmind.google/discover/blog/how-ai-is-helping-advance-the-science-of-bioacoustics-to-save-endangered-species/
🟠Статья: http://arxiv.org/abs/2508.04665

@ai_machinelearning_big_data


#DeepMind #AI #Bioacoustics #MachineLearning #Perch #Ecology

Датасет VK-LSVD (Large Short-Video Dataset) для развития рекомендательных систем

Сейчас в открытом доступе не так много больших открытых датасетов, на базе которых инженеры и ученые могут обучать и оценивать модели. Для построения точных рекомендательных алгоритмов важно учитывать не только явные реакции пользователей, но и дополнительные сигналы: продолжительность просмотра, контекст, содержимое. Короткие видео – это уникальный формат для задач рекомендаций. В отличие от музыки, подкастов или длинных видео, у роликов почти отсутствует фоновое и повторное потребление. В ленте показывается один ролик за раз, что упрощает атрибуцию фидбека. А так как пользователи просматривают десятки клипов за одну сессию, фидбека действительно много. Все это повышает точность оффлайн-оценки алгоритмов и позволяет добиваться лучшей корреляции с онлайном.

Поэтому исследователи AI VK выложили в открытый доступ масштабный датасет VK-LSVD на базе сервиса коротких роликов.

Детали

🔸40 млрд обезличенных уникальных взаимодействий пользователей с короткими видео за шесть месяцев (январь–июнь 2025);
🔸20 млн коротких видео с метаданными (автор, длительность) и контентными эмбеддингами;
🔸10 млн пользователей с соцдем признаками (возраст, пол, регион);
🔸Богатый фидбек: лайки, дизлайки, шеры, закладки, клики на автора, открытия комментариев, а также время просмотра и контекст взаимодействия.

Вместо деления на фиксированные размеры датасета, VK-LSVD позволяет гибко настраивать выборку под задачи конкретного исследования. Можно самостоятельно задать нужный объём данных, выбрать, как именно их отбирать — случайным образом или по популярности. Такой подход позволяет адаптировать датасет под реальные задачи и вычислительные мощности, которые есть у команд. И применять VK-LSVD как для академических проектов, так и для масштабных индустриальных экспериментов.

Найти датасет можно по ссылке

А уже скоро мы на его базе проведем открытое соревнование для инженеров, следите за обновлениями!

🔥Прими участие в Хакатоне от ИТ-холдинга Т1 в Екатеринбурге и поборись за призовой фонд 600 000 рублей!

Когда: 30 сентября–3 октября
Формат: онлайн + финал на площадке

Участвуй, если ты:
🔹обучаешься на технической или ИТ-специальности;
🔹развиваешься в направлении разработки, аналитики, информационной безопасности или DevOp;
🔹сможешь быть в Екатеринбурге 3 октября.

Выбери свой кейс:

✴️ Terraform LogViewer: от хаоса к порядку. Разработай инструмент, который автоматизирует визуализацию и поиск проблем при развертывании и использовании инфраструктуры.

✴️ Обход защиты Web Application Firewall. Найди уязвимости, замаскируй атаки и попытайся «обойти» инструменты защиты ИБ.

Почему стоит участвовать:
🔘Кейс в портфолио и полезная обратная связь от менторов Т1;
🔘Шанс проявить себя, чтобы начать карьеру в одной из крупнейших ИТ-компаний;
🔘Реальный опыт командной работы;
🔘Мерч и атмосфера сильного комьюнити — в Т1 более 5 000 джунов из 580+ вузов России и Беларуси.

Регистрация открыта!
➡️ Успей до 28 сентября по ссылке.

Ты не из Екатеринбурга, но хочешь принять участие? Смотри расписание хакатонов в других городах.

Записи с Turbo ML Conf 2025

Долгожданные. Пока делимся тем, что выложили во ВКонтакте:
👉 CV & Speech
👉 NLP
👉 RecSys
👉 LLM & Applications
👉 Research & RnD

Презентации залили на сайт конфы.
Позже закинем и на YouTube, дополним этот пост.

Ну и добавляем немного атмосферы, как все прошло!

🔥 Microsoft снова доказывает силу синтетических данных для задач компьютерного зрения!

Современные модели компьютерного зрения с фокусом на человека (Human-centric CV) требуют миллиардов параметров, гигантских датасетов и дорогостоящего инференса. Но можно ли добиться такой же точности, не тратя миллионы?

Исследователи показали: модели можно обучать только на синтетических данных высокого качества — и при этом достигать тех же результатов.

Microsoft представили DAViD — open-source фреймворк, позволяющий создавать цифровых людей с точной геометрией лиц и текстурами.

Проект демонстрирует, как можно использовать синтетические датасеты для:

🟠 Предсказания глубины изображения (Depth Prediction)
🟠 Оценки поверхностей (Normal Estimation)
🟠 Сегментации фона и людей на фото/видео (Background & Human Segmentation)

Почему это круто:
🟢 Синтетические данные = пиксельная точность разметки
🟢 Почти бесконечное разнообразие сцен, ракурсов, освещения и поз
🟢 Прекрасно масштабируются для обучения моделей с нуля или дообучения

Самое приятное, что Microsoft выложили всё в опенсорс:
✔️ 300 000 сэмплов
✔️ Предобученные модели
✔️ Исходный код фреймворка

🟢Проект: https://microsoft.github.io/DAViD/
🟢Статья: https://arxiv.org/abs/2507.15365
🟢Github: https://github.com/microsoft/DAViD

@ai_machinelearning_big_data

Если ты работаешь с human-centric CV — это мощный старт. Даже без реальных данных.

#cv #microsoft #opensource