♥️ Приглашаем на «Большую дату» — митап для аналитиков и дата-сайентистов в Москве

Обсудим последние новости мира аналитики данных, поделимся реальными кейсами и их решениями. Будут спикеры из разных команд Яндекса:

🔘 Андрей Молотов, старший аналитик-разработчик. Расскажет, как предсказать отток сотрудников и уменьшить его с помощью ML-моделей и экспериментов.

🔘 Яна Кузнецова, руководитель группы платёжной аналитики. Объяснит, что такое FinOps и какую роль играет аналитика в C2B-платежах Яндекса.

🔘 Владислав Енин, менеджер проектов. Поделится историей о повышении конверсии платежей в Маркете.

🔘 Кирилл Черкашин, старший аналитик-разработчик. Объяснит, с какими сложностями столкнулись ребята при разработке NLP-пайплайна в модерации рекламы и как их решали.

🔘 Александр Самусенко, руководитель группы развития рекламных продуктов и стабильности. Расскажет, что такое аналитика ранжирования и зачем она нужна.

📤 После докладов сыграем в «Сто к одному», отдохнём, поболтаем о жизни и просто хорошо проведём время. Митап пройдёт 28 октября в Москве, для всех желающих мы проведём онлайн-трансляцию. Зарегистрироваться можно здесь.

🎧 Video2Music: Suitable Music Generation from Videos using an Affective Multimodal Transformer model

Video2Music: Suitable Music Generation from Videos using an Affective Multimodal Transformer model.

Многочисленные исследования в области генерации музыки продемонстрировали впечатляющую производительность, однако практически ни одна модель не способна напрямую генерировать музыку для сопровождения видео.

В данной работе представлен генеративный музыкальный ИИ-фреймворк Video2Music, который может генерировать музыку под предоставленное видео.

Сначала была собрана уникальная коллекцию музыкальных клипов. Затем проанализированы музыкальные видеоролики, чтобы получить семантические характеристики, характеристики смещения сцены, движения и эмоций.

Эти отличительные признаки используются в качестве исходных данных для модели генерации музыки.

Затем транскрибируются аудиофайлы в MIDI и аккорды, а также извлекаются такие характеристики, как плотность нот и громкость.

В результате был собран набор мультимодальных данных под названием MuVi-Sync, на котором обучена модель для генерации музыки на основе видео. Эта модель включает в себя новый механизм, обеспечивающий сходство между видео и музыкой. Наконец, выполняется постобработка на основе регрессионной модели на базе biGRU для оценки плотности и громкости нот на основе характеристик видео.

Это обеспечивает динамическую визуализацию генерируемых аккордов с изменяющимся ритмом и громкостью.

В ходе экспериментов показано, что фреймворк позволяет генерировать музыку, соответствующую видеоконтенту с точки зрения эмоций. Музыкальное качество, а также качество согласования музыки и видео подтверждается в ходе исследования.

Модель AMT, а также новый датасет MuVi-Sync представляют собой перспективный шаг для задачи генерации музыки для видео.

🖥 Github: https://github.com/amaai-lab/video2music

📕 Paper: https://arxiv.org/abs/2311.00968v1

⏩ Demo: https://llmrec.github.io/

🌐 Dataset: https://zenodo.org/records/10057093

@ai_machinelearning_big_data

✨ Feature Selection for Deep Tabular Models

Аналог LASSO для нейронных сетей, названный Deep Lasso, который превосходит классические методы отбора признаков в сложных задачах.

🐱 Github: https://github.com/vcherepanova/tabular-feature-selection

📕 Paper: https://arxiv.org/pdf/2311.05877v1.pdf

⭐ Tasks: https://paperswithcode.com/task/feature-selection

@ai_machinelearning_big_data

🇺🇿 Introducing Emu Video and Emu Edit, our latest generative AI research milestones

Мета показали свои новые нейросети Emu Video и Emu Edit.

Первая — высококачественный генератор видео, а вот вторая интересней — это натоящий редактор ваших фото текстом, без выделения областей, сложных интерфейсов и прочего. Просто пишете, что хотите поменять и как, а нейросеть — выполняет. Демо выглядит потрясающе.



🚀 Meta: https://ai.meta.com/blog/emu-text-to-video-generation-image-editing-research/

⭐️Project page: https://emu-edit.metademolab.com

📌Paper: https://emu-edit.metademolab.com/assets/emu_edit.pdf

ai_machinelearning_big_data