GIGA R&D Day — конференция по R&D и нейросетям от SberDevices

📍5 апреля | 12:00 | онлайн и офлайн в Москве

Будем изучать LLM и CV, распознавать жесты, генерировать вокал и 3D-модели, общаться с книгами и путешествовать по VR-галереи.

В программе — 3 секции и 13 выступлений.

📝 LLM+NLP: эксперименты в GigaChat, реализация поиска со ссылками на источники, ранжирование и бенчмарки моделей, ранжирование ответов и mGPT для языков малых народов.
👁 Computer Vision: распознавание языка жестов, генерация и реконструкция 3D-моделей, поиск самых интересных сцен в видео.
🎼Нейрозвук: архитектура синтеза речи, управление тоном и артикуляцией, генерация вокала и пения с аккомпанементом.

Также вас ждет дискуссия о ближайших перспективах ИИ и демо-стенды, где можно будет попробовать технологии SberDevices.

Для участия необходимо зарегистрироваться.

Реклама. ПАО Сбербанк. ИНН 7707083893

Привет!

Впереди выходные и мы как раз кстати с нашей еженедельной ежемесячной регулярной рубрикой с обзором соревнований! 🥁

Сегодня на повестке дня:

Image Matching Challenge 2024 — Hexathlon 🪢
Стоило только пожаловаться, что не очень много сейчас CV-соревнований — получите, распишитесь — 3d-реконструкция сцен. Особенность задачи в том, что сделать ее нужно по весьма разнородным данным, что значительно все усложняет. Самих данных при этом не супер-много, так что, в целом, вертеть их получится довольно комфортно. Соревнование, можно сказать, только началось, поэтому есть возможность спокойно, не торопясь, разобраться с задачей, а заодно, например, и изучить лучшие подходы и результаты прошлых заходов — похожие задачи уже были в 2022 и 2023 годах.

GeoLifeCLEF 2024 @ LifeCLEF & CVPR-FGVC ☘️
Далее по списку компетишен на “растительную” тематику, но, к сожалению, без призов и медалей. Впрочем, уверены, для пытливых умов это не главное, плюс компенсируется интересной задачей и данными к ней: нужно предсказывать вид растений, используя информацию и со спутниковых снимков, и ряды с климатическими данными, и данные о среде — в общем, тысячи их, скучать не придется. Как все это объединить, что использовать, а что нет, что влияет на скор и как — поиск ответов на все эти вопросы сможет увлечь вас до самого окончания майских праздников и даже немного дольше. Дерзайте! 🙃

LLM Prompt Recovery 🎡
Ну и финалочка, для самых отчаянных — снова LLM. Для самых отчаянных, потому что осталось всего 3 недели до окончания, но это значит, что все лики уже найдены и поправлены, ответы на вопросы от организаторов получены, а основные идеи обсуждены коммьюнити. 🌚
В соревновании требуется восстановить промпт, который был использован для переписывания текста, в остальном присутствует все, уже ставшее классикой соревнований по LLM на kaggle: куча разного размера и перформанса моделей, синтетика, МНОГО СИНТЕТИКИ в данных и вот это вот все. В общем, некогда думать — пора бежать решать, времени мало!

#соревнования

Крупные компании покупают данные для обучения своих моделей

Adobe закупается видосиками

По интернету и так ходят слухи, что в нём закончилась дата для тренировки диффузионок. А если ты Adobe и хочешь все делать на лицензионном контенте, то и того хуже. Так что теперь адобченко платят по 3 доллара (доходит и до $7) за минуту видео-контента для своих моделей. При чем на видео люди просто живут, двигают руками, ногами; злятся и говорят по телефону. Что, наверное, не так часто снимают специально. Может быть, таких данных действительно не хватает.

Никогда бы не подумал, что для того чтобы успеть в гонке ии-моделек, весь бигтех дружно перейдет на пиратский контент (хотя, считать это fair use или нет все еще является дилеммой). Кстати, слышал где-то, что 6-ю версию Midjourney тренировали на кадрах из фильмов. Поэтому там такие красивые картинки. Файнтюн на эстетику.

Ну, и теперь, очевидно, что Adobe готовят свою видео модель, конкурента SORA.

@ai_newz

🔥🎮 Video2Game: Real-time, Interactive, Realistic and Browser-Compatible Environment from a Single Video

Video2Game - фреймворк, который позволяет преобразовывать видео в реалистичную и интерактивную игровую среду!

В основе модели лежат ри основных компонента: (i) NeRF, который отображает геометрию и пространство сцены; (ii) mesh модуль, который использует NeRF для ускорения рендеринга; и (iii) физический модуль, который моделирует физическую динамику и взаимодействие объектов.

Встроенные агенты могут свободно перемещаются по местности в виртуальной среде, где их действия соответствуют физике реального мира. Игроки могут взаимодействовать с объектами на сцене, подчиняясь физическими законами.

▪ Project page: https://video2game.github.io
▪ Code: https://github.com/video2game/video2game
▪ Demo: https://video2game.github.io/src/garden/index.html

@ai_machinelearning_big_data

Интересно, как в борьбе за хайп уживаются большие команды с мегатоннами вычислительной мощности, и те что поменьше, университетские группы и маленькие стартапы или компании с небольшими R&D отделами. Эту тему на своем примере подняли ребята из Tinkoff Research в недавнем интервью. Учитывая, что видеокарты не бесконечны, важнейший исследовательский трек для них — повышение эффективности моделей, и выбор неочевидных направлений, в которые копает чуть меньше групп, но которые, по их мнению, могут быть намного перспективнее.

И действительно, пока читаешь все эти пейперы и релизы, нет нет да замечаешь интересный, но казалось бы, очевидный паттерн. Небольшие исследовательские группы генерируют более креативные идеи. Особенно с точки зрения оптимизации. Что в конечном счете и крупным компаниям позволяет клепать модельки быстрее и лучше. А еще маленькие команды кажется чаще рады поделиться исходным кодом.

В мире AI сейчас доминируют технологические гиганты, такие как Google, Meta, OpenAI и DeepMind. У них есть огромные ресурсы - тысячи инженеров и исследователей, а тонны GPU для тренировки моделей с сотнями миллиардов параметров. Но значит ли это, что небольшим исследовательским группам и стартапам нечем заняться в AI? Вовсе нет!

C дивана мне в голову пришло сразу несколько направлений, где небольшие команды могут проявить себя и сделать значимый вклад:

- Тюнинг и адаптация открытых моделей вроде LLaMA, Stable Diffusion под конкретные прикладные задачи. Большие foundation модели дают отличную базу, но для многих реальных применений их нужно дообучать на специфичных данных.

- Дистилляция знаний (distillation) и сжатие моделей - позволяет уменьшить размер моделей в разы и даже на порядки без существенной потери качества. Это критично для многих сценариев использования AI на мобильных устройствах и в реальном времени.

- Исследование ошибок и уязвимостей больших моделей, разработка методов для их детекции и устранения. Даже лучшие модели вроде GPT-4 могут выдавать неверные факты, проявлять предвзятость, быть подвержены adversarial атакам. Здесь огромное поле для исследований.

- Разработка новых архитектур, механизмов внимания, техник обучения, которые позволяют эффективнее обучать модели. Яркий пример - техника chain-of-thought prompting, которая значительно улучшает способности LLM к рассуждению, при этом не требуя дообучения модели. Статья с ее описанием, уже набрала более 4500 цитирований! То есть не нужны тысячи видеокарт, чтобы создать что-то влиятельное.

- Применение AI в узких предметных областях, где нужна глубокая экспертиза в конкретной сфере - медицине, биологии, физике, экономике и т.д. Большие универсальные модели не всегда лучше работают, чем модели обученные на специфичных данных.

Есть немало примеров небольших групп, которые успешно конкурируют с гигантами индустрии. Например, парижский стартап Mistral, где изанчально было 3 человека (да, соглашусь, не совсем корректный пример, потому что компания подняла $115 млн в первые недели существования). Из близкого многим читателям, опять же, Tinkoff Research - команда из 12 человек (20 со студентами) в компании, которая никогда AI-ресерчем до этого не занималась, умудрилась опубликовать 4 статьи на NeurIPS 2023 (об одной из них писал тут). Или вот Midjourney с командой менее 50 человек (а инженеров и того меньше) создали и дальше двигают одну из лучших в мире технологий генерации изображений по тексту - восхищаюсь их результатами. Все благодаря фокусу на конкретной задаче и хитрым идеям.

Поэтому не стоит думать, что если у вас нет ресурсов тренировать гигантские модели, то вам нечем заняться в AI (я часто слышу такое от студентов, с которыми общаюсь). Наоборот, именно небольшие креативные команды зачастую делают прорывы и открывают новые направления, которые потом подхватывают большие компании. Главное - выбрать правильный фокус и упорно работать над решением важных проблем на стыке AI и конкретных предметных областей.

@ai_newz