Forwarded from DLS — новости
Продолжая серию летних воспоминаний от нашего курса, выкладываем подборку материалов из категории GenAI.
— Введение в генеративные модели
— Применение автоэнкодеров
— Generative Latent Optimization: построение автоэнкодера
— Вариационный автоэнкодер
— Вариационные автоэнкодеры с дискретным латентным пространством
Так же отметим, что у лекций есть конспект!
— Введение в GAN
— Метрика Васерштейна и WGAN
— StyleGAN
— А что дальше?
А так же 2 семинара:
— StyleGAN часть 1
— StyleGAN часть 2
Смотрите, повторяйте, учите ML!
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Small Data Science for Russian Adventurers
#соревнование
Обзор международных соревнований в DS за прошлый год: на каких платформах, что используют победители, какие конкурсы проходят и т.п. Такие отчёты каждый год выходят (но тут ни разу ссылок на них не давал).
https://mlcontests.com/state-of-machine-learning-competitions-2024/
Обзор международных соревнований в DS за прошлый год: на каких платформах, что используют победители, какие конкурсы проходят и т.п. Такие отчёты каждый год выходят (но тут ни разу ссылок на них не давал).
https://mlcontests.com/state-of-machine-learning-competitions-2024/
Forwarded from DLStories
Смотрите, что сделали в Стенфорде: STORM — утилита для генерации научных репортов на заданную тему (бесплатно)
Работает очень просто: вы задаете тему (например, "Challenges and open questions in the topic of Uncertainty Estimation"), STORM идет в интернет, находит статьи, код и другие ссылки с информацией по этой теме, и в итоге собирает все в один большой репорт. Репорт во многом похож на survey статью по этой теме, но в более свободном формате: скорее, как очень подробный и тщательно собранный репорт в Notion. Есть ссылки на все источники.
По сути, это такая обертка над LLM, которая позволяет без подбора просптов генерить достаточно точные, достоверные и обстоятельные обзоры. У STORM есть статья и код. В статье описывается, как строилась утилита и приводятся метрики. В частности, пишут, что при моделировании процесса сборки репорта фокусировались на следующих вещах:
- рассмотрение различных точек зрения при исследовании заданной темы (это вот про академию/индустрию и т.п.)
- моделирование бесед, в которых авторы, представляющие разные точки зрения, задают вопросы эксперту по заданной теме. Эксперт при этом основывается на надежных интернет-источниках
- отбор собранной информации для создания плана репорта.
Если нажать на кнопку "See BrainSTORMing Process", там как раз будет видно, что сборка итогового репорта основана на использовании LLM с разными промптами от лица разного типа юзеров (academic/ubdustry/etc).
Ссылки:
- попробовать STORM (он бесплатный. Ну, по крайней мере, пока что)
- статья
- код
P.S. Нашла STORM в посте из Твиттера, и там было написано "STORM writes research papers like a PhD". Но репорты по теме — это не любая PhD статья, так что с таким заявлением не соглашусь, имхо оно вводит в заблуждение
Работает очень просто: вы задаете тему (например, "Challenges and open questions in the topic of Uncertainty Estimation"), STORM идет в интернет, находит статьи, код и другие ссылки с информацией по этой теме, и в итоге собирает все в один большой репорт. Репорт во многом похож на survey статью по этой теме, но в более свободном формате: скорее, как очень подробный и тщательно собранный репорт в Notion. Есть ссылки на все источники.
По сути, это такая обертка над LLM, которая позволяет без подбора просптов генерить достаточно точные, достоверные и обстоятельные обзоры. У STORM есть статья и код. В статье описывается, как строилась утилита и приводятся метрики. В частности, пишут, что при моделировании процесса сборки репорта фокусировались на следующих вещах:
- рассмотрение различных точек зрения при исследовании заданной темы (это вот про академию/индустрию и т.п.)
- моделирование бесед, в которых авторы, представляющие разные точки зрения, задают вопросы эксперту по заданной теме. Эксперт при этом основывается на надежных интернет-источниках
- отбор собранной информации для создания плана репорта.
Если нажать на кнопку "See BrainSTORMing Process", там как раз будет видно, что сборка итогового репорта основана на использовании LLM с разными промптами от лица разного типа юзеров (academic/ubdustry/etc).
Ссылки:
- попробовать STORM (он бесплатный. Ну, по крайней мере, пока что)
- статья
- код
P.S. Нашла STORM в посте из Твиттера, и там было написано "STORM writes research papers like a PhD". Но репорты по теме — это не любая PhD статья, так что с таким заявлением не соглашусь, имхо оно вводит в заблуждение
🔥1
Forwarded from DeepSchool
Кто за рулём?! Трансформер
Автономные автомобили — технология, в которой множество задач на уровне как софта, так и железа. В новой статье разбираем одну из ключевых задач — планирование движения, где на первый план выходит архитектура-трансформер.
Вы узнаете:
- какие существуют подходы к проектированию автономных автомобилей, их преимущества и недостатки
- как трансформеры обрабатывают дорожные сцены и предсказывают траектории
- какие ловушки подстерегают ML-планировщики — от «эффекта подражателя» до физической нереализуемости
Читайте статью по ссылке!
Автономные автомобили — технология, в которой множество задач на уровне как софта, так и железа. В новой статье разбираем одну из ключевых задач — планирование движения, где на первый план выходит архитектура-трансформер.
Вы узнаете:
- какие существуют подходы к проектированию автономных автомобилей, их преимущества и недостатки
- как трансформеры обрабатывают дорожные сцены и предсказывают траектории
- какие ловушки подстерегают ML-планировщики — от «эффекта подражателя» до физической нереализуемости
Читайте статью по ссылке!
🔥1
Forwarded from Machinelearning
Идея «Манхэттенского проекта для ИИ», витавшая последние месяцы на самом высоком уровне в США, кажется, начинает обретать очертания. Но за громкими сравнениями обычно теряется суть: а что это значит на практике?
Аналитики из Epoch AI решили посчитать, какой вычислительный монстр может появиться, если американское правительство консолидирует ресурсы частного сектора и вложит в проект долю ВВП, сопоставимую с пиком лунной программы.
Epoch AI - некоммерческий исследовательский институт, который изучает траекторию развития искусственного интеллекта, анализирует тренды в вычислениях, данных и алгоритмах, чтобы прогнозировать влияние ИИ на экономику и общество.
Расчеты показывают, что к концу 2027 года такой проект мог бы обеспечить тренировочный прогон модели с вычислительной мощностью порядка 2 × 10²⁹ FLOP.
Чтобы понять масштаб: это примерно в 10 000 раз больше, чем потребовалось для обучения GPT-4. По сути, это рывок, который по текущим прогнозам должен был случиться на несколько лет позже.
Финансирование на уровне программы «Аполлон» (около 0.8% ВВП или 244 млрд. долларов сегодня) позволило бы закупить и объединить в один кластер эквивалент 27 миллионов NVIDIA H100. Эта цифра, кстати, совпадает с экстраполяцией текущих доходов NVIDIA от продаж в США.
27 миллионов GPU потребуют около 7.4 ГВт мощности - это больше, чем потребляет весь город Нью-Йорк. Оказывается, это не главная преграда. Аналитики говорят, что к 2027 году в США и так планируется ввод 8.8 ГВт за счет новых газовых электростанций, значительная часть которых уже предназначена для дата-центров.
При наличии политической воли и используя законодательные инструменты, правительство США сможет сконцентрировать эти мощности в одном месте, так что энергия не станет узким местом.
Геополитическая напряженность, например, вокруг Тайваня, может сорвать поставки чипов. Кроме того, нельзя просто так взять и увеличить масштаб в тысячи раз. Масштабирование требует времени на отладочные прогоны и эксперименты, но это скорее инженерное, а не ресурсное ограничение.
Тем не менее, анализ показывает: при должной координации и инвестициях технологический скачок в области ИИ может произойти гораздо быстрее, чем мы думаем. И это уже вполне просчитываемая возможность.
@ai_machinelearning_big_data
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍2🔥2🎉1
Forwarded from AI VK Hub
Вручную писать юнит‑тесты долго и скучно, но они важны — позволяют находить ошибки на ранней стадии и вносить изменения, не опасаясь сломать существующую логику. Поэтому мы решили облегчить себе жизнь и автоматизировать процесс с помощью LLM.
В карточках кратко рассказываем про подходы, инструменты и реализацию. Полная статья — по ссылке.
В карточках кратко рассказываем про подходы, инструменты и реализацию. Полная статья — по ссылке.
🔥1😁1
Forwarded from эйай ньюз
Вышел доклад от François Chollet, который я слушал ещё 3 недели назад в Сан-Франциско на YC AI Startup School.
Это, кстати, был один из 3 самых интересных докладов (другие два - это Карпатый и Chelsea Finn).
В докладе Шолле показывает, что до AGI нам еще далековато, что существующие бенчи слишком простые, и показывает свой новый бенч ARC-AGI-2. На новом бенче средний человек набирает 60%, а команда из нескольких — 100%. В то время как o3-high выбивает только 6.5%, а Claude Opus 4 (Thinking 16K) - 8.6%. Показывая, что пропасть между лучшими LLM и человеком тут огромная.
Старый ARC-AGI-1 продержался пять лет, потому что он был вызовом для обычных LLM, которые хороши в запоминании, но пасуют когда дело доходит до настоящего мышления. Ризонеры наконец-то смогли его решать (но все равно не полностью), поэтому сделали ARC-AGI-2, который опять же бьёт в самую слабую точку современных LLM — их способность к подвижному интеллекту (fluid intelligence). Он проверяет умение работать с символами, многошаговыми правилами и контекстом, где тупой перебор не работает. Шолле ожидает, что этот бенч не продержится так долго, потому что именно в ризонинге будет происходить самый быстрый прогресс в ближайшие годы.
Но ARC-2 — это не предел. Шолле уже затизерил ARC-AGI-3, который должен выйти в 2026 году. Он будет ещё жёстче — бенчмарк будет построен в виде интерактивных игр, требующих от ИИ ставить цели и по-настоящему адаптироваться, а не подбирать решение грубой силой. Фокус этого бенча — эффективность обучения, сравнимую с человеческой. Системы должны будут не просто решить задачу, а сделать это быстро и с небольшим количеством примеров. ARC-3 целится в то, чтобы продержаться больше трёх лет.
В конце он объявил о создании своей новой лабы — NDEA. Их цель — строить тот самый ИИ, который нужен для настоящих прорывов: самообучающийся движок для синтеза программ, способный не на автоматизацию, а на изобретения. По сути, они хотят создать систему, которая сможет ускорять научный прогресс, а бенчмарки ARC будут для них главным мерилом успеха.
https://www.youtube.com/watch?v=5QcCeSsNRks
@ai_newz
Это, кстати, был один из 3 самых интересных докладов (другие два - это Карпатый и Chelsea Finn).
В докладе Шолле показывает, что до AGI нам еще далековато, что существующие бенчи слишком простые, и показывает свой новый бенч ARC-AGI-2. На новом бенче средний человек набирает 60%, а команда из нескольких — 100%. В то время как o3-high выбивает только 6.5%, а Claude Opus 4 (Thinking 16K) - 8.6%. Показывая, что пропасть между лучшими LLM и человеком тут огромная.
Старый ARC-AGI-1 продержался пять лет, потому что он был вызовом для обычных LLM, которые хороши в запоминании, но пасуют когда дело доходит до настоящего мышления. Ризонеры наконец-то смогли его решать (но все равно не полностью), поэтому сделали ARC-AGI-2, который опять же бьёт в самую слабую точку современных LLM — их способность к подвижному интеллекту (fluid intelligence). Он проверяет умение работать с символами, многошаговыми правилами и контекстом, где тупой перебор не работает. Шолле ожидает, что этот бенч не продержится так долго, потому что именно в ризонинге будет происходить самый быстрый прогресс в ближайшие годы.
Но ARC-2 — это не предел. Шолле уже затизерил ARC-AGI-3, который должен выйти в 2026 году. Он будет ещё жёстче — бенчмарк будет построен в виде интерактивных игр, требующих от ИИ ставить цели и по-настоящему адаптироваться, а не подбирать решение грубой силой. Фокус этого бенча — эффективность обучения, сравнимую с человеческой. Системы должны будут не просто решить задачу, а сделать это быстро и с небольшим количеством примеров. ARC-3 целится в то, чтобы продержаться больше трёх лет.
В конце он объявил о создании своей новой лабы — NDEA. Их цель — строить тот самый ИИ, который нужен для настоящих прорывов: самообучающийся движок для синтеза программ, способный не на автоматизацию, а на изобретения. По сути, они хотят создать систему, которая сможет ускорять научный прогресс, а бенчмарки ARC будут для них главным мерилом успеха.
https://www.youtube.com/watch?v=5QcCeSsNRks
@ai_newz
Telegram
эйай ньюз
Тут на YC AI Startup School уже выступили CEO OpenAI, co-founder Anthropic, CEO Perplexity.
Как же разнятся мнения среди докладчиков.
Сэма: наши модели самые лучшие, и будут еще круче. Давай все стройте стартапы поверх нашей платформы!
@
Каплан (Антропик):…
Как же разнятся мнения среди докладчиков.
Сэма: наши модели самые лучшие, и будут еще круче. Давай все стройте стартапы поверх нашей платформы!
@
Каплан (Антропик):…
Forwarded from Yandex for ML
В этом году нам прислали 166 заявок. Мы собрали программный комитет из 27 инженеров и лидов, которые прошерстили их все и выбрали лучшие доклады.
Мы составили программу, в которую войдут:
Подписывайтесь:
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Machinelearning
This media is not supported in your browser
VIEW IN TELEGRAM
🎬 Alibaba опять в ударе, сегодня у нас релиз Wan2.2
Это первая в мире open-source модель генерации видео с архитектурой MoE и полным кинематографическим контролем!
🚀 Что внутри:
🔸 Первая MoE‑модель для видео — масштабируется без лишней нагрузки. Разные эксперты отвечают за этапы диффузии, работая в команде.
🔸 Кинематографический контроль — управляем светом, цветом, движением камеры и композицией прямо из prompt’а.
🔸 Полная open-source линейка:
-
-
-
📈 Умеет лучше всех генерировать *сложные движения* и выглядит уже почти как кино 🎥
🟢 GitHub: https://github.com/Wan-Video/Wan2.2
🟢 Hugging Face: https://huggingface.co/Wan-AI
🟢 ModelScope: https://modelscope.cn/organization/Wan-AI
@ai_machinelearning_big_data
#AI #VideoAI #GenerativeAI #OpenSource #Wan
Это первая в мире open-source модель генерации видео с архитектурой MoE и полным кинематографическим контролем!
🚀 Что внутри:
🔸 Первая MoE‑модель для видео — масштабируется без лишней нагрузки. Разные эксперты отвечают за этапы диффузии, работая в команде.
🔸 Кинематографический контроль — управляем светом, цветом, движением камеры и композицией прямо из prompt’а.
🔸 Полная open-source линейка:
-
Wan2.2-T2V-A14B — текст → видео -
Wan2.2-I2V-A14B — изображение → видео -
Wan2.2-TI2V-5B — объединённая генерация 📈 Умеет лучше всех генерировать *сложные движения* и выглядит уже почти как кино 🎥
@ai_machinelearning_big_data
#AI #VideoAI #GenerativeAI #OpenSource #Wan
Please open Telegram to view this post
VIEW IN TELEGRAM
👍1