https://vk.com/wall-187376020_337
Ого, это что новый семинар от VK Lab? Да!

Подключайтесь 12 декабря в 20:00, наш лаборант Антон Удалов расскажет о self-supervised подходе в звуке.

Мы подробно обсудим ключевые модели в этой области: Wav2Vec2, HuBERT и WavLM. А ещё разберёмся:
- в их архитектурных особенностях;
- чем они отличаются друг от друга;
- и для решения каких задач нужны.

Готовьте вопросы — обязательно ответим на них! До встречи.

🤯Локальные LLM-ки на подъеме — некий Кулибин запуcтил Карпатовскую llama2.c на Galaxy Watch 4!

Моделька не самая жирная, но это пока. Через год-два 1B параметров будет на часах бегать. Персональный ассистент у вас на руке!

Скорость:
Модель с 15M параметров: 22 токенов/сек*
Модель с 43M параметров: 8 токенов/сек

Вот вам еще небольшая подборка моих постов, про локальнные LLM:
- LLaMa с text-retrieval плагином: тык-1, тык-2
- LLama-7B на на макбуке: тык
- LLaMa-30B на макбуке (4-bit + mmap): тык
- llama2.c или Карпатый запускает LLaMa-2-7B на рисоварке: тык
- Falcon 180B дома на маке M2 Ultra: тык


*один токен - это чуть меньше одного слова.

@ai_newz

На Хабре не писал уже давным давно. Как-то сейчас получается что проще сделать видео или небольшую узкоспециализированную статью на медиуме. Но какую-то длинную и сложную мысль с большим числом отсылок однозначно надо публиковать на Хабре. Собственно некоторое суммирование о всех больших моделях про которые я говорил на своём канале с весны решил сделать - https://habr.com/ru/companies/recognitor/articles/786646/
В тексте обзор + немного мыслей о том куда это все идет. Сейчас явно не волна хайпа на тему "ресерчеры не нужны", но кажется что тема иногда витает в воздухе:)

А вот теперь, мы начнем играть в VR по-взрослому! Disney представила свою новую крышесносную разработку HoloTile Floor. Это имено то, что я себе представлял в детстве, когда мы с парнями мечтали о будущих играх виратуальной реальности.

Да, я четко помню, что в году 2005 у нас уже были обсуждения и фантазии насчет "виртуальной реалтности", которая вот-вот появится на новых компах, и мы будем играть лесными эльфами, охраной дворца и злодеем. Можно будет грабить корованы...

А с таким полом, кажется, можно действительно испытать полное погружение в виртуальную реальность. HoloTile Floor первым делом будут устанавливать в парках развлечения Disney, но в какой-то момент они могут дойти и до домашних пользователей. Кроме обычных игр, фитнес приложения смогут выйти на совсем иной уровень.

Omni-directional беговые дорожки существовали и ранее (например virtuix), но они как правило выглядели громоздко и на игрока нужно было вешать кучу дополнительных приблуд. Кроме того, в HoloTile Floor, можно еще и перемещать предметы, и двигаться, сидя на предметах.

В общем, what a time to be alive! И ждем новых серий черного зеркала.🙈

@ai_newz

Я тут наткнулся на профиль одного паренька. Честно сказать, я в шоке. В 14 лет он закончил бакалавриат, в 19 лет он закончил PhD, а в 20 лет стал Research Director в Stability AI.

Он взломал жизнь?

@ai_newz

🔍 Поиск оптимальных гиперпараметров для модели

Гиперпараметры модели – это настройки, которые определяют как саму структуру модели, так и способ её обучения.

Например, у случайного леса они могут быть такими:
– Количество деревьев (n_estimators)
– Максимальная глубина деревьев (max_depth)
– Минимальное количество объектов в листе (min_samples_leaf)
– Максимальное количество признаков для разбиения (max_features)

Чтобы получить самую лучшую модель, нужно как-то подобрать эти гиперпараметры. Есть несколько способов:

🤪 «Тупой» перебор гиперпараметров
– Grid Search - просто перебор всевозможных комбинаций значений гиперпараметров
– Random Search - перебор случайных наборов гиперпараметров (в том случае, когда Grid Search слишком долгий)

🤓 «Умный» перебор гиперпараметров
– Bayesian Optimization - метод, который сочетает вероятностные модели с методами оптимизации для эффективного поиска оптимальных гиперпараметров
– Другие умные методы - реализованы, например, во фреймворке Optuna - библиотеке, которая представляет высокоуровневый интерфейс для оптимизации гиперпараметров

Причем иногда «тупой» рандомный перебор работает лучше, чем «умный» (так бывает, потому что рандомный может случайно найти глобальный минимум, а умный может зациклиться на локальном). Чтобы понять, что лучше подойдёт в вашем случае, можно попробовать оба способа

Подробнее про подбор гиперпараметров написано вот в этой статье, с примерами, инструментами и классными советами 🙂

Читайте статью и ставьте сердечки под этим постом!(наберем 70 ❤️?)