Forwarded from Denis Sexy IT 🤖
Media is too big
VIEW IN TELEGRAM
Media is too big
VIEW IN TELEGRAM
Media is too big
VIEW IN TELEGRAM
Media is too big
VIEW IN TELEGRAM
Media is too big
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
Media is too big
VIEW IN TELEGRAM
Media is too big
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
Просто посмотрите на это качество, о-ф-и-г-е-т-ь
У многих txt2video стартаперов FaceId сегодня не работает
У многих txt2video стартаперов FaceId сегодня не работает
Forwarded from эйай ньюз
А вот и подоспел новый образовательный контент от Карпатого после его ухода из OpenAI. #ликбез
Андрей написал минимальную имплементацию Byte Pair Encoding (BPE) токенайзера, который широко используется в современных LLM, в том числе и в GPT-4.
Токенайзер - это алгоритм, который преобразует текст в последовательность токенов (целых чисел), перед тем, как его скормить в LLM.
Идея BPE очень простая:
1️⃣ Берем Unicode строку и представляем ее в виде последовательности байтов. - Изначально каждый байт - это отдельный токен, их всего 256 уникальных.
2️⃣ Затем находим наиболее частую пару соседних токенов и заменяем её на новый токен с номером (256 + i) → пример на скрине.
3️⃣ Повторяем это дело K раз. В итоге имеем словарь на 256 + K токенов, которые сжимают оригинальную последовательность байтов в более короткую последовательность токенов, закодированных номерами.
Видео лекция про BPE у Карпатого уже в производстве, он обещал скоро ей поделиться!
А пока можете посмотреть разбор BPE (пост+видео) из NLP курса на HuggingFace: ссылка.
@ai_newz
Андрей написал минимальную имплементацию Byte Pair Encoding (BPE) токенайзера, который широко используется в современных LLM, в том числе и в GPT-4.
Токенайзер - это алгоритм, который преобразует текст в последовательность токенов (целых чисел), перед тем, как его скормить в LLM.
Идея BPE очень простая:
Видео лекция про BPE у Карпатого уже в производстве, он обещал скоро ей поделиться!
А пока можете посмотреть разбор BPE (пост+видео) из NLP курса на HuggingFace: ссылка.
@ai_newz
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Институт AIRI
До следующего #AIRIseminars осталось меньше недели, значит, пришло время рассказать все подробности📌
⚫ Дата и время: 28 февраля в 17:00 офлайн на Арме и онлайн YouTube-канале AIRI
⚫ Докладчик: Айбек Аланов, AIRI, ВШЭ
⚫ Оппонент: Григорий Бартош, University of Amsterdam
⚫ Исследователи обсудят тему редактирования изображений с помощью диффузионных моделей
Все подробности и регистрация на сайте, до встречи!💡
Все подробности и регистрация на сайте, до встречи!
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Data Secrets
Сейчас будет полезная полезность
В интернете существует замечательный сайт NeetCode. Он идеален для подготовки к собеседованиям и в целом для развития. Здесь ссылки на задачи редиректят вас на функционал LeetCode, НО все отсортировано по темам и в правильном порядке изучения. Создатель составлял подборки на основе опыта интервью в FAANG.
К чему мы это все? Недавно там появилась вкладка Machine Learning! Это задачи на реализацию занимательных алгоритмов с нуля. Подойдет для всех уровней подготовки: задачи отсортированы по Easy, Mediums и Hard. Автоматическая проверка и подсказки в комплекте.
Ну где такое еще увидишь? Однозначно, рекомендуем.
В интернете существует замечательный сайт NeetCode. Он идеален для подготовки к собеседованиям и в целом для развития. Здесь ссылки на задачи редиректят вас на функционал LeetCode, НО все отсортировано по темам и в правильном порядке изучения. Создатель составлял подборки на основе опыта интервью в FAANG.
К чему мы это все? Недавно там появилась вкладка Machine Learning! Это задачи на реализацию занимательных алгоритмов с нуля. Подойдет для всех уровней подготовки: задачи отсортированы по Easy, Mediums и Hard. Автоматическая проверка и подсказки в комплекте.
Ну где такое еще увидишь? Однозначно, рекомендуем.
Forwarded from RuCode Festival
Ты, наверное, уже знаешь, но мы просто не можем остаться в стороне от этой новости 🧠
Российские исследователи разработали демонстрационный образец рекордно быстрого аналогового фотонного процессора. Он использует частицы света для распознавания объектов со скоростью обработки информации в 662 терабайта в секунду. Это в сотни раз быстрее современных цифровых нейросетей на основе традиционных полупроводниковых компьютеров😵
В данном эксперименте машина распознала рукописные цифры с точностью в 93,75% и с супервысокой скоростью.
Достижение особенно важно для оперативного анализа гиперспектральных данных, представляющих собой очень объемнык массивы информации.
Аналоговые процессоры — это вычислительные машины, которые хранят числовые данные в виде аналоговых физических параметров и пользуются законами природы для обработки информации. Как правило, аналоговые процессоры способны решать только одну или очень небольшое число задач, но при этом они делают это на порядки быстрее универсальных цифровых процессоров.
Российские исследователи разработали демонстрационный образец рекордно быстрого аналогового фотонного процессора. Он использует частицы света для распознавания объектов со скоростью обработки информации в 662 терабайта в секунду. Это в сотни раз быстрее современных цифровых нейросетей на основе традиционных полупроводниковых компьютеров
В данном эксперименте машина распознала рукописные цифры с точностью в 93,75% и с супервысокой скоростью.
Достижение особенно важно для оперативного анализа гиперспектральных данных, представляющих собой очень объемнык массивы информации.
Аналоговые процессоры — это вычислительные машины, которые хранят числовые данные в виде аналоговых физических параметров и пользуются законами природы для обработки информации. Как правило, аналоговые процессоры способны решать только одну или очень небольшое число задач, но при этом они делают это на порядки быстрее универсальных цифровых процессоров.
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from эйай ньюз
🔥PIXART-Σ:
Weak-to-Strong Training of Diffusion Transformer for 4K Text-to-Image Generation
Китайцы из Huawei опубликовали новую text2image модель, которая может генерить картинки в 4к! Результаты выглядят очень достойно.
Архитектура основана на DiT (как и у Stable Diffusion 3), но с модифицированным аттеншеном. Кажется, теперь все новые text2img и yext2vid будут на базе DiT, UNet уходит в историю.
Сайт проекта
Демо (только в 1024p)
Кода пока нет
@ai_newz
Weak-to-Strong Training of Diffusion Transformer for 4K Text-to-Image Generation
Китайцы из Huawei опубликовали новую text2image модель, которая может генерить картинки в 4к! Результаты выглядят очень достойно.
Архитектура основана на DiT (как и у Stable Diffusion 3), но с модифицированным аттеншеном. Кажется, теперь все новые text2img и yext2vid будут на базе DiT, UNet уходит в историю.
Сайт проекта
Демо (только в 1024p)
Кода пока нет
@ai_newz
Forwarded from Machinelearning
Вчера Intel выпустила набор инструментов OpenVINO 2024.0 для нейронных сетей с использованием встроенной поддержки анализа производительности (бенчмарк), анализа пропускной способности и задержки для различных моделей, который позволяет проводить оптимизации и развёртывания ИИ-систем на различном оборудовании. Исходный код проекта выложен на GitHub под лицензией Apache License 2.0.
Проект OpenVINO предназначен для тестирования работы ИИ не только на процессорах x86_64, но также на ARM и других архитектурах, интегрированной и дискретной графике Intel и многом другом оборудовании. Проект поддерживает с помощью плагина возможность использования нейронной обработки блока NPU на новых процессорах Intel Core Ultra Meteor Lake.
В OpenVINO 2024.0 добавлены новые функции для работы с генеративным ИИ (GenAI) включая работу из коробки с моделями энкодера предложений TensorFlow, поддержкой Mixture of Experts (MoE) и проверенными моделями Mistral. Проект получил поддержку API JavaScript для беспрепятственного доступа к API OpenVINO.
OpenVINO 2024.0 также обеспечивает улучшенное качество сжатия веса INT4 для LLM (БЯМ — больших языковых моделей), повышенную производительность LLM на процессорах Intel, упрощённую оптимизацию и преобразование моделей Hugging Face, а также получил другие улучшения интеграции с Hugging Face.
Разработчики пояснили, что OpenVINO 2024.0 также обеспечивает лучшую производительность на процессорах ARM и получил различные улучшения в коде своей платформы.
В OpenVINO 2024.0 прекращена поддержка предыдущего решения Gaussian and Neural Accelerator (Intel GNA) от Intel. Проект теперь фокусируется на NPU в процессорах Meteor Lake и новее. Плагин Intel NPU для OpenVINO теперь распространяется как часть основного пакета OpenVINO на PyPi.
@ai_machinelearning_big_data
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from DeepSchool
Negative learning
Зачастую датасеты, на которых мы проводим обучение, далеки от идеала: и люди, и автоматические алгоритмы допускают ошибки при разметке. Иногда сами данные могут быть противоречивы, что негативно влияет на качество моделей.
Есть множество методов улучшения качества на шумных данных, один из которых — Negative learning. Сегодня мы поговорим о нём, а именно узнаем:
- в чём ключевая идея подхода
- его плюсы и минусы
- и как добиться очень хороших результатов на шумных данных
Читайте статью по ссылке: https://www.notion.so/deepschool-pro/Negative-learning-73aec5da12254cd09b7710fe1d133e44?pvs=4
Зачастую датасеты, на которых мы проводим обучение, далеки от идеала: и люди, и автоматические алгоритмы допускают ошибки при разметке. Иногда сами данные могут быть противоречивы, что негативно влияет на качество моделей.
Есть множество методов улучшения качества на шумных данных, один из которых — Negative learning. Сегодня мы поговорим о нём, а именно узнаем:
- в чём ключевая идея подхода
- его плюсы и минусы
- и как добиться очень хороших результатов на шумных данных
Читайте статью по ссылке: https://www.notion.so/deepschool-pro/Negative-learning-73aec5da12254cd09b7710fe1d133e44?pvs=4
deepschool-pro on Notion
Negative learning | Notion
Автор: Александр Гончаренко
Редактор: Александр Наздрюхин
Редактор: Александр Наздрюхин
Forwarded from Machinelearning
GIGA R&D Day — конференция по R&D и нейросетям от SberDevices
📍5 апреля | 12:00 | онлайн и офлайн в Москве
Будем изучать LLM и CV, распознавать жесты, генерировать вокал и 3D-модели, общаться с книгами и путешествовать по VR-галереи.
В программе — 3 секции и 13 выступлений.
📝 LLM+NLP: эксперименты в GigaChat, реализация поиска со ссылками на источники, ранжирование и бенчмарки моделей, ранжирование ответов и mGPT для языков малых народов.
👁 Computer Vision: распознавание языка жестов, генерация и реконструкция 3D-моделей, поиск самых интересных сцен в видео.
🎼Нейрозвук: архитектура синтеза речи, управление тоном и артикуляцией, генерация вокала и пения с аккомпанементом.
Также вас ждет дискуссия о ближайших перспективах ИИ и демо-стенды, где можно будет попробовать технологии SberDevices.
Для участия необходимо зарегистрироваться.
Реклама. ПАО Сбербанк. ИНН 7707083893
📍5 апреля | 12:00 | онлайн и офлайн в Москве
Будем изучать LLM и CV, распознавать жесты, генерировать вокал и 3D-модели, общаться с книгами и путешествовать по VR-галереи.
В программе — 3 секции и 13 выступлений.
📝 LLM+NLP: эксперименты в GigaChat, реализация поиска со ссылками на источники, ранжирование и бенчмарки моделей, ранжирование ответов и mGPT для языков малых народов.
👁 Computer Vision: распознавание языка жестов, генерация и реконструкция 3D-моделей, поиск самых интересных сцен в видео.
🎼Нейрозвук: архитектура синтеза речи, управление тоном и артикуляцией, генерация вокала и пения с аккомпанементом.
Также вас ждет дискуссия о ближайших перспективах ИИ и демо-стенды, где можно будет попробовать технологии SberDevices.
Для участия необходимо зарегистрироваться.
Реклама. ПАО Сбербанк. ИНН 7707083893
Forwarded from Контур.AI
Привет!
Впереди выходные и мы как раз кстати с нашейеженедельной ежемесячной регулярной рубрикой с обзором соревнований! 🥁
Сегодня на повестке дня:
Image Matching Challenge 2024 — Hexathlon 🪢
Стоило только пожаловаться, что не очень много сейчас CV-соревнований — получите, распишитесь — 3d-реконструкция сцен. Особенность задачи в том, что сделать ее нужно по весьма разнородным данным, что значительно все усложняет. Самих данных при этом не супер-много, так что, в целом, вертеть их получится довольно комфортно. Соревнование, можно сказать, только началось, поэтому есть возможность спокойно, не торопясь, разобраться с задачей, а заодно, например, и изучить лучшие подходы и результаты прошлых заходов — похожие задачи уже были в 2022 и 2023 годах.
GeoLifeCLEF 2024 @ LifeCLEF & CVPR-FGVC ☘️
Далее по списку компетишен на “растительную” тематику, но, к сожалению, без призов и медалей. Впрочем, уверены, для пытливых умов это не главное, плюс компенсируется интересной задачей и данными к ней: нужно предсказывать вид растений, используя информацию и со спутниковых снимков, и ряды с климатическими данными, и данные о среде — в общем, тысячи их, скучать не придется. Как все это объединить, что использовать, а что нет, что влияет на скор и как — поиск ответов на все эти вопросы сможет увлечь вас до самого окончания майских праздников и даже немного дольше. Дерзайте! 🙃
LLM Prompt Recovery 🎡
Ну и финалочка, для самых отчаянных — снова LLM. Для самых отчаянных, потому что осталось всего 3 недели до окончания, но это значит, что все лики уже найдены и поправлены, ответы на вопросы от организаторов получены, а основные идеи обсуждены коммьюнити. 🌚
В соревновании требуется восстановить промпт, который был использован для переписывания текста, в остальном присутствует все, уже ставшее классикой соревнований по LLM на kaggle: куча разного размера и перформанса моделей, синтетика, МНОГО СИНТЕТИКИ в данных и вот это вот все. В общем, некогда думать — пора бежать решать, времени мало!
#соревнования
Впереди выходные и мы как раз кстати с нашей
Сегодня на повестке дня:
Image Matching Challenge 2024 — Hexathlon 🪢
Стоило только пожаловаться, что не очень много сейчас CV-соревнований — получите, распишитесь — 3d-реконструкция сцен. Особенность задачи в том, что сделать ее нужно по весьма разнородным данным, что значительно все усложняет. Самих данных при этом не супер-много, так что, в целом, вертеть их получится довольно комфортно. Соревнование, можно сказать, только началось, поэтому есть возможность спокойно, не торопясь, разобраться с задачей, а заодно, например, и изучить лучшие подходы и результаты прошлых заходов — похожие задачи уже были в 2022 и 2023 годах.
GeoLifeCLEF 2024 @ LifeCLEF & CVPR-FGVC ☘️
Далее по списку компетишен на “растительную” тематику, но, к сожалению, без призов и медалей. Впрочем, уверены, для пытливых умов это не главное, плюс компенсируется интересной задачей и данными к ней: нужно предсказывать вид растений, используя информацию и со спутниковых снимков, и ряды с климатическими данными, и данные о среде — в общем, тысячи их, скучать не придется. Как все это объединить, что использовать, а что нет, что влияет на скор и как — поиск ответов на все эти вопросы сможет увлечь вас до самого окончания майских праздников и даже немного дольше. Дерзайте! 🙃
LLM Prompt Recovery 🎡
Ну и финалочка, для самых отчаянных — снова LLM. Для самых отчаянных, потому что осталось всего 3 недели до окончания, но это значит, что все лики уже найдены и поправлены, ответы на вопросы от организаторов получены, а основные идеи обсуждены коммьюнити. 🌚
В соревновании требуется восстановить промпт, который был использован для переписывания текста, в остальном присутствует все, уже ставшее классикой соревнований по LLM на kaggle: куча разного размера и перформанса моделей, синтетика, МНОГО СИНТЕТИКИ в данных и вот это вот все. В общем, некогда думать — пора бежать решать, времени мало!
#соревнования