Хотим напомнить о возможности подать на первый поток программы бакалавриата по AI в Mohamed bin Zayed University of Artificial Intelligence (MBZUAI).
Подать можно до 31го мая на официальном сайте университета.

Для рекомендации на стипендию через Exceptional Talent track, вы можете написать знакомым, уже обучающимся в MBZUAI, либо мне, @ayana_mussabayeva. Буду рада ответить на вопросы и помочь с рекомендацией.

Sherkala: новая Kazakh LLM от MBZUAI
MBZUAI совместно с компанией Inception (ОАЭ) представили Sherkala - большую языковую модель, созданную специально для казахского языка.

Размер и обучение:
8B параметров LLM, обученная на 45 миллиардов токенов, включая:
🇰🇿 ~20B токенов на казахском
🇺🇸 ~20B на английском
🇷🇺/🇹🇷 Остальные — русский и турецкий

Часть казахских данных (~25%) была синтетически сгенерирована через перевод English Wikipedia. Остальные 75% — это открытые источники: Common Crawl, CultureX и др.

Что нового по сравнению с KazLLM ISSAI:
• Токенайзер: обновлённый токенайзер вдвое снизил фертильность на казахском, улучшая качество генерации.
• Instruction tuning: выполнен на английском, казахском и русском. Большинство данных — не переводы, а нативные инструкции.
• Safety alignment: модель прошла процедуру безопасности, снижая риск токсичности, bias и misinformation.

Первые результаты:
• Sherkala показывает лучшую производительность в своём классе на казахском языке:
• Лидирует на KazMMLU, Common Sense Reasoning, и ряде других бенчмарков
• На Vicuna и MT Bench модель опережает KazLLM ISSAI по генерации

Открытые ресурсы и статьи:
• huggingface.co/inceptionai/Llama-3.1-Sherkala-8B-Chat
• Tech Report
• KazMMLU Benchmark
• Safety dataset
• Инструкции

Поздравляем всех резидентов нашего сообщества с большим вкладом в развитие AI для казахского языка: Даниил Орел, Нурдаулет Мухитулы, Диана Турмахан, Нурхан Лайык, Майя Голобурда и всех причастных!

Оффлайн-арена LLM для казахского языка

Резиденты нашего сообщества Санжар Мурзахметов, Санжар Умбет, Бексултан Cагындык и Кирилл Якунин запустили первую оффлайн-арену LLM для казахского языка!
Главная цель — проверить не просто генерацию следующего токена, а понимание культурного контекста в целом.

Что было сделано:
• Собрали кастомный QA-датасет с культурным фокусом.
• Использовали Serper, Perplexity и LLM-генерацию, вместе с лингвистами собрали темы и ключевые слова
• Модели сравнивались в парах: сначала с помощью GPT-4o, в финале — через модель Bradley-Terry.

Текущие Результаты:
• Модели Gemma от Google DeepMind стабильно сильные
• Sherkala-8B (MBZUAI) — второе место, обошёл даже большие модели
• ISSAI (Nazarbayev University) — хорошие MC-балы, но одни из самых слабых по генерации.

BeeTech 2025 | 31.05.2024, Алматы (Narxoz, Жандосова 55)

31 мая в Алматы пройдёт beetech conf - одна из главных ИТ-конференций Казахстана. Один из стримов в этом году полностью посвящён AI и Data Science.

В программе стрима:
• Ренат Алимбеков поделится опытом запуска AI/ML-проектов и расскажет про факапы: от нерабочих MVP до переоценённых метрик.
• Михаил Шкорин (Verigram) объяснит, как можно бороться с угрозой дипфейков без огромных затрат и сложных нейросетей.
• Елдан Абдрашим (Apple) расскажет, как на самом деле создаются AI/ML-продукты в Big Tech и как попасть в компании вроде Apple и Microsoft.

Помимо докладов вы сможете присоединиться к квартирникам, воркшопам или записаться на спид-менторинг: формат быстрых консультаций, где можно получить фидбэк от менторов:
• Уахат Бастимиев, CEO Verigram
• Мадияр Хамзанов, директор по AI/ML/Data Science в Forte Bank

Вас ждут новые знакомства, насыщенная программа, и в завершение дня стендап в тёплой атмосфере

Все подробности и регистрация на beetech.kz

DSML Reading Club Meeting # 3

На этой неделе Михаил Шкорин расскажет про эмбеддинги графов — Optimal Time Complexity Algorithms for Computing General Random Walk Graph Kernels on Sparse Graphs

Текущие методы построения графовых эмбеддингов страдают от отсутствия теоретической обоснованности (GNN) или высокой вычислительной сложности (kernel-подходы)

Статья предлагает простой и масштабируемый алгоритм, который обеспечивает эффективное сравнение графов и их узлов через линейную аппроксимацию random walk kernels

На встрече мы обсудим:
• Зачем вообще нужны эмбеддинги графов
• Как создать эмбеддинги нодов за линейное время
• Как перейти от эмбеддингов нод до эмбеддингов графов на лету, не считая огромную матрицу смежности.
• Графовые трансформеры на облаках точек в робототехнике.

• Добавить в календарь: calendar.app.google/wci6yDfF8M68tHCv7
• Thu, May 15, 11:00 KZ Time
• Google Meet
• Host: Yelaman Abdullin

Запись DSML Reading Club #1 уже на канале!

Еламан Абдуллин рассказал про Byte Latent Transformer

Современные LLM опираются на токенизацию, что ограничивает их гибкость, снижает эффективность и делает их уязвимыми к редким и неформатным входам. Статья предлагает Byte Latent Transformer (BLT) — новую архитектуру, работающую напрямую с байтами. BLT использует динамические патчи, адаптирующиеся к сложности данных, и впервые достигает сравнимого с токенизированными моделями качества при лучшей эффективности и масштабируемости.

Смотреть видео: youtu.be/JN-adAvbAcs

Запись DSML Reading Club #2 уже на канале!

Ануар Таскынов рассказал про Visual Geometry Grounded Transformer

VGGT — это foundation-модель нового поколения для задач 3D компьютерного зрения. Она способна по одному, нескольким или даже сотням изображений сцены сразу предсказывать ключевые 3D характеристики: параметры камеры, карты глубины, плотные облака точек и трекинг в 3D.

В отличие от традиционных подходов, VGGT работает как единая универсальная модель без необходимости в сложной постобработке, оставаясь при этом быстрой (менее 1 секунды на реконструкцию) и точной — она показывает SOTA-результаты по нескольким 3D задачам.

Хост семинара: Еламан Абдуллин
Скачать презентацию

Смотреть видео: youtube.com/watch?v=TVZoU1m5WKI

Чем-нибудь еще могу помочь?

Решили поиграть с генерацией музыки в suno.
Получилась довольно забавная песенка про трансформер.

Запись DSML Reading Club #3 уже на канале!

Михаил Шкорин рассказал про Computing General Random Walk Graph Kernels

Текущие методы построения графовых эмбеддингов страдают от отсутствия теоретической обоснованности (GNN) или высокой вычислительной сложности (kernel-подходы)

Статья предлагает простой и масштабируемый алгоритм, который обеспечивает эффективное сравнение графов и их узлов через линейную аппроксимацию random walk kernels

Хост семинара: Еламан Абдуллин

Смотреть видео: youtu.be/_SNLAOX1wqI

[01:35] - Представлено решение: новый метод выборки, снижающий вычислительную сложность ядер случайных блужданий с кубического до линейного времени.
[10:27] - Описание метода "Graph Feature (GF)", который использует "следы" от случайных блуждающих для эффективной оценки сходства графов.
[14:08] - Обсуждение влияния нового метода: более быстрая обработка, повышение точности и возможность анализа графов большего размера.
[15:00] - Упоминание улучшенной классификации графов и узлов как одного из потенциальных применений.
[18:27] - Применения для создания векторных баз данных для графов и интеграции с моделями-трансформерам

DSML Reading Club Meeting # 4

Уже послезавтра Асель Ермекова расскажет про статью где она является одним из авторов — Improved Sampling Algorithms for Lévy-Itô Diffusion Models

Недавно было показано, что модели диффузии Леви-Ито с изотропным α-устойчивым шумом улучшают генерацию изображений на несбалансированных данных. Однако используемые алгоритмы выборки решают лишь приближённые обратные уравнения, что снижает качество. В этой статье мы предлагаем семейство стохастических дифференциальных уравнений с идентичными маргинальными распределениями и показываем, что выбор параметров улучшает качество при небольшом числе шагов обратной диффузии. Также мы демонстрируем применимость моделей Леви-Ито в разных областях и преимущества TTS моделей на сильно несбалансированных данных.

На встрече мы обсудим:
- Что такое диффузионная модель?
- Основные постановки диффузионных моделей
- Недостатки классической диффузии на гауссовских процессах и зачем нужны леви диффузии
- Методы сэмплирования леви-диффузий

• Thu, May 22, 11:00 KZ Time
• Добавить в календарь
• Google Meet
• Host: Yelaman Abdullin

Выложили видео:
https://youtu.be/SyXY79hMP_k?si=-TamP0fmL6Nua63Y

В минувшую субботу прошел beetech 2025. В этом году на конференции помимо General стрима, был стрим AI&Beyond, где половина докладов была представлена резидентами нашего сообщества.

Абылайхан Турласов поделился хаками использования guided decoding при работе с ЛЛМками. Михаил Шкорин рассказал как можно останавливать подмену видео при авторизации. Диас Халниязов поведал о нюансах создания AI парсера, а Ренат Алимбеков разобрал типичные ошибки AI/ML-проектов и ответил на важный вопрос: Локхид настоящий?

DSML Reading Club | call for speakers

DSML Reading Club - это неформальные онлайн-встречи сообщества, где участники делятся интересными идеями, свежими статьями и собственными исследованиями. Если вы недавно прочитали классную статью, опубликовали свою работу в журнале или конференции, или просто хотите обсудить интересную тему - присоединяйтесь в качестве спикера!

Заполните форму регистрации, мы свяжемся с вами и поможем организовать встречу.

DSML митап | call for speakers

С нашего последнего крупного оффлайн митапа в 2019 году прошло уже 6 лет! И вот наконец 5 июля в Алматы (Most Hub) мы вновь соберемся сообществом, чтобы обсудить последние новости в AI, послушать интересные доклады от наших резидентов и просто пообщаться!

Мы открываем набор спикеров: если у вас есть интересная тема, исследование или проект, с которым хочется выступить, пишите @ayana_mussabayeva

DSML MEETUP 2025 | MOST IT Hub Almaty, 05.07.2025

5 июля в MOST IT Hub Almaty пройдет DSML meetup 2025! Вас ждут новые знакомства и интересные доклады от резидентов dsml.kz:

• Ануар Аймолдин (Founder, DSML.KZ)
• Ренат Алимбеков (Data Science & Data Analytics Consultant)
• Джимми Ямазаки (Deep Learning Engineer)
• Аяна Мусабаева (PhD researcher, MBZUAI)
• Жулдыз-Жан Сагимбаев (Lead ML Engineer, Cerebra AI)
• Дулат Атабек (Head of Quantitative Research, Atlas Capital)
• и другие специалисты и резиденты нашего сообщества!

Обсудим, как готовились задачи для первой республиканской AI олимпиады; как используются генеративные модели в медицинской нейровизуализации; в чем разница подходов машинного обучения в академическом рисерче и индустрии; world модели в современном обучении с подкреплением и много чего еще!

5 июля, сбор гостей: 11:30, начало в 12:00
MOST IT Hub (Ходжанова 2/2)
Вход: 5.000 тг (студентам бакалавриата и школьникам скидка 50%)
Регистрация: forms.gle/az9sGAzZacJw5Zb56

По всем вопросам @DSMLmeetup

Ознакомиться с детальной программой и абстрактами всех докладов, а также зарегистрироваться на DSML Meetup 2025 можно на нашем сайте.
Ждем всех 5-го июля в MOST Hub Almaty!

Уже послезавтра в MOST IT Hub Almaty пройдет DSML Meetup 2025!

У нас уже 100 оплативших регистрацию слушателей, а также 30 приглашенных гостей от партнерских компаний и представителей медиа.

Мы рады сообщить, что у нас еще осталось немного мест, а также что на митапе будет еще один спикер - Иван Дегтев (Head of Analytics, YandexGPT) с докладом "Чем кормить LLM-ку, чтобы она выросла большая и умная".

У вас еще есть немного времени чтобы присоединиться к нашему ивенту. Ждем вас в субботу в 11:30 в MOST IT Hub.

Программа митапа и регистрация доступны на нашем сайте: dsml.kz/events

В субботу прошел DSML Meetup 2025!

На ивенте присутствовало около 200 гостей, включая резидентов ДСМЛ, наших медиапартнеров и гостей из крупнейших технологических гигантов страны!

От лица Сообщества хотели выразить благодарность всем спикерам за 8 блестящих докладов, каждому нашему гостю за то, что были с нами в этот день, а также нашему партнеру MOST IT Hub за отличную площадку! Если же у вас не получилось присоединиться к нам, хорошие новости: записи докладов будут доступны на нашем ютуб канале в ближайшее время!

Делимся фотками с мероприятия, а также просим наших гостей выделить немного времени чтобы заполнить фидбек к нашему ивенту

Всем спасибо и остаемся на связи!

Начинаем выкладывать видеозаписи с недавно проведенного DSMLKZ митапа в Алматы!

В рамках приветствия Ануар Аймолдин рассказал о Сообществе DSML.KZ: его истории, ценностях, мероприятиях и достижениях.

Вспомнили ребят, которые его создавали, а также обсудили итоги проведенной нами Республиканской AI Олимпиады для школьников

Материалы с выступления:
• Презентация
• Видео

Generative models in Neuroimaging - Zhuldyzzhan Sagimbayev

Продолжаем выкладывать видеозаписи с проведенного нами DSMLKZ Meetup Almaty

Доклад Жулдыз-Жана Сагимбаева посвящен применению генеративных моделей в нейровизуализации, на примере кейсов компании CerebraAI по ранней диагностике инсульта. Он объясняет использование КТ и МРТ для визуализации мозга и подробно описывает генеративные модели (автоэнкодеры, VAE, GAN, диффузионные модели) и их применение для обнаружения аномалий и генерации синтетических данных в медицине.

[02:36] Нейровизуализация: Компьютерная томография (КТ)
[05:36] КТ-ангиография и КТ-перфузия
[09:30] Магнитно-резонансная томография (МРТ)
[11:15] Генеративные модели: Автоэнкодеры и VAE
[15:19] Генеративные модели: GAN и диффузионные модели
[17:34] Генеративные модели для обнаружения аномалий
[18:46] Синтетические данные и файн-тюнинг VLM
[21:47] Вопросы и ответы

Материалы с выступления:
• Презентация
• Видео
• Пост на Linkedin