Открыли портал в прошлое и достали оттуда редкие артефакты — записи выступлений с YaTalks 2023! 📺

Помните, как проходила самая большая конференция Яндекса в прошлом году? Сходить на все доклады тогда было физически невозможно, но теперь они будут храниться в открытом доступе на нашем ютуб-канале до скончания веков (или, по крайней мере, пока не упадут серверы). Там много крутых выступлений про ML, вот всего часть из них:

🔘 Сергей Юдин из Яндекс Браузера. Рассказал, как технология краткого пересказа в Яндекс Браузере меняет процесс потребления контента

🔘 Иван Лаптев из MBZUAI и VisionLabs. Показал визуально-языковые модели и методы их обучения для визуальной навигации и манипуляций

🔘 Денис Димитров из Kandinsky, Sber AI. Объяснил, как с помощью диффузии синтезировать видео по текстам на естественном языке

📖 А если вы хотите почитать текстовые конспекты наших докладов — загляните в контент-хаб конференции. Там мы превращаем видео в удобные статьи с иллюстрациями для тех, кто больше любит читать, а не смотреть видео ✨

Подписывайтесь 👉 @Yandex4ML

⭐️ YOLO-World Real-Time Open-Vocabulary Object Detection

Обнаружение объектов в режиме реального времени БЕЗ ОБУЧЕНИЯ.

YOLO-World - это новая SOTA, которая превосходит предыдущие модели как по точности обнаружения, так и по скорости. 35,4 AP при 52,0 FPS на V100.

Все, что вам нужно, это изображение + промпт (список категорий, которые вы хотите обнаружить).

🖥 Github: https://github.com/AILab-CVC/YOLO-World

📚 Paper: https://arxiv.org/abs/2401.17270

⚡️Demo: https://www.yoloworld.cc

🤗Hf: https://huggingface.co/spaces/stevengrove/YOLO-World

ai_machinelearning_big_data

А вот и подоспел новый образовательный контент от Карпатого после его ухода из OpenAI. #ликбез

Андрей написал минимальную имплементацию Byte Pair Encoding (BPE) токенайзера, который широко используется в современных LLM, в том числе и в GPT-4.

Токенайзер - это алгоритм, который преобразует текст в последовательность токенов (целых чисел), перед тем, как его скормить в LLM.

Идея BPE очень простая:
1️⃣ Берем Unicode строку и представляем ее в виде последовательности байтов. - Изначально каждый байт - это отдельный токен, их всего 256 уникальных.
2️⃣ Затем находим наиболее частую пару соседних токенов и заменяем её на новый токен с номером (256 + i) → пример на скрине.
3️⃣ Повторяем это дело K раз. В итоге имеем словарь на 256 + K токенов, которые сжимают оригинальную последовательность байтов в более короткую последовательность токенов, закодированных номерами.


Видео лекция про BPE у Карпатого уже в производстве, он обещал скоро ей поделиться!

А пока можете посмотреть разбор BPE (пост+видео) из NLP курса на HuggingFace: ссылка.

@ai_newz