💨CoDeF: Content Deformation Fields for Temporally Consistent Video Processing

Новый фреймворк для переноса создания любого стиля на видео.

🖥 Github: https://github.com/qiuyu96/codef

☑️ Project: https://qiuyu96.github.io/CoDeF/

📕 Paper: https://arxiv.org/abs/2308.07926

⭐️ Demo: https://ezioby.github.io/CoDeF_Demo/

ai_machinelearning_big_data

🧑 ReliTalk - Drive any portrait with only a single training video required

Vivid audio-driven portraits from monocular videos.

Новый фреймворк для создания реалистичных, говорящих портретов на основе видео.

🖥 Github: https://github.com/arthur-qiu/ReliTalk

📕 Paper: https://arxiv.org/abs/2309.02434

⏩ Demo Video: https://www.youtube.com/watch?v=tS2Tek_72J0

⭐️ Project: http://haonanqiu.com/projects/ReliTalk.html

ai_machinelearning_big_data

🚗 Тест-драйв PyTorch 2.0 и заглядываем под капот «двушки»

⚜️ Новейший метод для ускорения кода в PyTorch 2.0 — torch.compile(), который позволяет JIT‑компилировать код PyTorch в оптимизированные ядра, требуя минимальных изменений кода.

JIT‑компиляция (Just‑In‑Time compilation) — это процесс, при котором код на высокоуровневом языке преобразуется в код на низкоуровневом языке, который может быть быстрее и эффективнее исполнен процессором или графическим ускорителем. torch.compile() использует TorchDynamo и заданный бэкенд для JIT‑компиляции кода PyTorch.

Рассмотрим, насколько эффективен torch.compile() на практике, заглянем под капот «двушки» PyTorch 2.0, чтобы узнать, как работает этот метод и какие преимущества он дает.

Разработчики PyTorch заявляют, что torch.compile() может дать прирост производительности до 50% по сравнению с обычным кодом PyTorch. Для проверки этого заявления мы проведем ряд экспериментов на разных моделях и данных, выясним, есть ли реальная выгода от использования torch.compile().

📌 Для того чтобы понять, как работает torch.compile() рассмотрим основные его компоненты, которые отвечают за различные аспекты JIT‑компиляции кода PyTorch:

▪️TorchDynamo — это динамический компилятор, который анализирует код PyTorch и определяет, какие части кода могут быть скомпилированы в оптимизированные ядра. Отслеживает изменения в коде и перекомпилирует его при необходимости.

▪️AOT AutoGrad — это система автоматического дифференцирования, которая позволяет вычислять градиенты для скомпилированных ядер. Генерирует код для обратного распространения ошибки во время компиляции, а не во время исполнения, что ускоряет процесс обучения нейронных сетей.

▪️PrimTorch — это набор примитивных операций, которые используются для построения скомпилированных ядер. Включает в себя базовые математические и логические операции, а также операции над тензорами, такие как сложение, умножение, свертка и т. д.

▪️TorchInductor — это бэкенд для JIT‑компиляции кода PyTorch в оптимизированные ядра для разных устройств. Поддерживает разные бэкенды и адаптирует код PyTorch к специфике каждого устройства.

Далее подробнее рассмотрим, как работают компоненты TorchDynamo и TorchInductor и как они взаимодействуют друг с другом, чтобы обеспечить JIT‑компиляцию кода PyTorch.

📌Читать

@machinelearning_interview

✏️ Deep Geometrized Cartoon Line Inbetweening

Method can effectively capture the sparsity and unique structure of line drawings while preserving the details during inbetweening.

Создание промежуточных кадров между двумя рисунками - трудоемкий и дорогостоящий процесс, новый фреймворк AnimeInbet позволяет автоматизировать эту задачу.

AnimeInbet, геометризирует растровые линейные рисунки в графы конечных точек, решая задачу слияния графов с перестановкой вершин.

🖥 Github: https://github.com/lisiyao21/animeinbet

☑️ Demo: https://youtu.be/iUF-LsqFKpI?si=9FViAZUyFdSfZzS5

📕 Paper: https://arxiv.org/pdf/2309.16643v1.pdf

⭐️ Dataset: https://drive.google.com/file/d/1SNRGajIECxNwRp6ZJ0IlY7AEl2mRm2DR/view?usp=sharing

ai_machinelearning_big_data