American Express - Default Prediction

Завершилось очередное соревнование на каггле kaggle.com/competitions/amex-default-prediction
В рамках этого конкурса нужно было используя анонимизированные факторы клиентов за пол года предсказать его дефолт.

В числе призеров было несколько команд с Казахстана:

- Серебро и 226 место
Команда студентов НУ
Corgi lovers [dsmlkz]
Даниил Орел и Арман Болатов

- Бронза 270 место
Команда АФР Тимур Абилкасымов

Поздравляем призеров!

Бонусом ключевые идеи серебрянного решения:
* Collect 1500 features

* Use CatBoost and Shap values to select 850 of them
* Build several boostings: CatBoost, XGBoost
* Build XGBoost Pyramid (1)
* Add LGBM predictions
* Combine the aforementioned results using exponential weighting (2)

Начинаем серию докладов по основам компьютерного зрения

Тема доклада: Разбор архитектур и особенностей решения
победителей ILSVRC
Время: 18:00, 28.08
Место: Наш дискорд сервер (https://discord.gg/aSkvvAmJ)

Докладчик: Макс Маметкулов, Computer Vision Engineer, Halbestunde, Research Assistant, Nazarbayev University

Доклад состоится в нашем дискорде, после доклада Вы сможете задавать вопросы по содержанию презентации.

Описание доклада: Мы разберем основных победителей соревнования ILSVRC, среди которых были AlexNet, GoogLeNet, VGG, ResNet. ILSVRC, как и данные для соревнования Imagenet, стали одними из основных бенчмарков в компьютерном зрении. Мы посмотрим почему эти архитектуры стали классикой и немного окунемся в историю нейросетевого компьютерного зрения

Еженедельный Субботний Воскресный Онлайн Дата Завтрак

Место: Наш дискорд сервер Ссылка: https://discord.gg/aSkvvAmJ
Канал: Data Breakfast
Время: 12:00 по каз. времени

Приходите, обсудим дата топики, карьеру, просто пообщаемся

Краткое саммари прошлого дата бранча
- Нас посетил Локхид, хоть и молчал, но посетил
- @dias_kh рассказал много интересного про магистратуру в Италии и работу, будучи студентом
- обсудили важность domain knowledge в решении задач
- обсудили последние соревнования на каггле
- не провели авторское шоу Рената Алимбекова Разоблачения Нехороших Людей

​​Дата Доклад I - Макс Маметкулов - История ImageNet

Делимся видеозаписью первого дсмл доклада, проведенного в минувшее воскресенье на нашем дискорд сервере.

Докладчик: Макс Маметкулов,
Computer Vision Engineer, Halbestunde,
Research Assistant, Nazarbayev University

Мы разберем основных победителей соревнования ILSVRC, среди которых были AlexNet, GoogLeNet, VGG, ResNet.

Это соревнование вместе со своим датасетом Imagenet, стали одними из основных бенчмарков в компьютерном зрении.

Мы посмотрим почему эти архитектуры стали классикой и немного окунемся в историю нейросетевого компьютерного зрения

Презентация: https://disk.yandex.com/i/XZMWlpaX8hygmQ
Видео: https://youtu.be/ZPIHqoRc1uU

Еженедельный Субботний Онлайн Дата Завтрак

Место: Наш дискорд сервер (ссылка: https://discord.gg/UGEAK9ss)
Канал: Data Breakfast
Время: 12:00 по времени GMT+6 Астана/Алматы

Приходите, обсудим дата топики, карьеру, просто пообщаемся

Краткое саммари прошлого дата бранча
- Обсудили каггл, снова
- Обсудили обертки торча и последние архитектуры йоло
- @myxik рассказал о своем неудачном опыте портирования модели на AWS Elastic Inference
- @rokset3 задавал вопросы Амину из Cerebra по тому, как они "измеряли" точность врачей
- Не провели авторское шоу Рената Алимбекова Разоблачения Нехороших Людей

Студенческая организация Ассоциации вычислительной техники при Назарбаев Университете рада сообщить вам о проведении 5го ежегодного Хакатона международного уровня HackNU 2022!

HackNU – это марафон для специалистов из разных областей программного обеспечения. У команд будет 36 часов для решения задач от лучших мировых и казахстанских IT компаний.

В ежегодном хакатоне HackNU принимают участия студенты из Казахстана, Кыргызстана, Узбекистана, Украины, Южной Кореи, США, Франции, Гонконга, Германии, Испании, Польшы и Саудовской Аравии. Примечательно то что количество участниц-девушек растёт с каждым годом, и это не может не радовать.

Спонсорами и партнерами прошлых хакатонов являлись Google, Microsoft, Meta, EPAM, а также BTS Digital, Chocofamily, и другие лидеры казахстанской IT индустрии. В этом году задачи предоставляют Google, EPAM, и Beeline🥳

Участвуя в HackNU вы получите шанс побороться за главный денежный приз, в также бесценный опыт, найдёте единомышленников и испытаете свои знания в программировании.

Формы для регистрации доступны на нашем сайте. Вас необходимо зарегистрировать ТОЛЬКО НА ОДНОМ языке из 3 предлагаемых. Для дальнейшей информации про детали регистрации и участия переходите по ссылке на наш сайт🙌

⏰ДЕДЛАЙН РЕГИСТРАЦИИ: 17.09

📍 Даты: 23-25 сентября, 2022
📍Формат: онлайн и оффлайн
📍Место проведения: Назарбаев Университет, Нур-Султан

Подпишитесь на наши социальные сети, чтобы не пропустить обновлений!
Instagram: @hacknukz
Telegram: https://t.me/HackNUinfo

Kolesa Group 8 октября проведут Kolesa Conf 2022 — масштабнейшую IT-конференцию этой осени!

В этом году офлайн-конференция будет платной, но будет доступна бесплатная прямая трансляция.

Data — один из 4 потоков конференции. С докладами выступят 10+ крутых специалистов из разных IT-компаний. Среди них:

- Анатолий Карпов, СЕО Karpov.Courses, разберёт, как правильно оценивать размер выборки и время проведения теста. И с какими неочевидными трудностями можно столкнуться на этом пути.

- Санжар Мырзагалым, Cloud Solution Architect, Data and AI в Microsoft Multi-country CEE, и Павел Ким, Senior Manager Data & Analytics в Air Astana. С темой «Методология построения облачного КХД: кейс Air Astana». Расскажут про архитектуру решения, этапность внедрения, формирование команды и будущее проекта.

- Саян Омаров и Абылайхан Турласов, senior data scientist и data scientist Beeline Казахстан, расскажут о том, как они внедряют решение видеоаналитики для своих офисов продаж и не только.

- Думан Уватаев, CDO Kaspi Bank, выступит с докладом «NLP Трансформеры: «Мен сізді жақсы түсінемін». Эволюция языковых моделей, основы Bert-ологии — далеко неполный список подтем, которые поднимет Думан.

- Никита Бобух, lead data analyst «Рядом», поделится тем, как разрабатывался и внедрялся ненавистный пользователями динамический минимальный чек (surge pricing).

🐺 Спикеры из Kolesa Group:

- Ануар Уахитов, data-аналитик, расскажет о том, как используя данные до запуска А/Б-теста, можно увеличить чувствительность теста. Покажет, как применяют эту методику в Kolesa Group и какой результат она даёт.

- Асылжан Акынова, data-аналитик, подготовил доклад на тему «Создание синтетической контрольной группы с помощью Propensity Score Matching».

- Динара Абдильдинова, тимлид направления качественных исследований, расскажет про UX-исследования в Kolesa Group: что, зачем и для чего. А также покажет работу с продуктом на примере Avtoelon.

- Тимур Беримкулов, специалист по машинному обучению, поделится тем, как они в компании делают Machine learning полезным для продукта. И почему это полезно для самих ML-инженеров.

- Дина Мукашева, data-аналитик, выступит с темой «Аналитика при запуске нового продукта. Пример маркетплейса запчастей».

Регистрация: https://bit.ly/3AM77Ua

Наши ребята из Cerebra (стартап, работающий над автоматизированной диагностикой инсульта) написали статью о сегментации сосудов на 3D снимках компьютерной томографической ангиографии (CTA)!

medium.com/@cerebra.kz/3d-vascular-segmentation-using-deep-learning-f5bd9e5abd3f

Спасибо автору статьи Амин Буранкулов (@iamabb) за отличный материал!

Пост на линкедине

Будем рады комментариям и замечаниям!

​​А мы напоминаем, что у вас есть возможность присоединиться к нашему сообществу энтузиастов машинного обучения в Казахстане Жана DSML Kazakhstan

Основная идея этого проекта: сделать наше сообщество более открытым, неанонимным и доверительным.

Основное отличие: внедрение сгенерированных на этапе регистрации визитных карточек (как на картинке выше)

Мы надеемся, что внедрение данных визиток фасилитирует живое общение, новые волонтерские проекты, менторскую программу, очные и заочные митапы, а также повысит уровень доверия в нашему контенту!

Это ни в коем случае не закрытое сообщество для избранных, и оно как и раньше открыто для любого увлеченного анализом данных человека.
Все, что от вас требуется: зарегистрироваться в нашем новом боте @databek_bot

Будьте внимательны с анкетой: заполнив ее раз, вы не сможете изменить полученную визитку вплоть до момента вхождения Казахстана в топ-30 конкурентноспособных экономик мира

​​​​Команда inDriver.Tech организует митап "Под капотом" для Дата инженеров в формате шоу "ЧБД" в Алматы.

14 сентября в 18:30 в Jas coworking, зал Event Area. Участие бесплатное

Нестандартными рабочими ситуациями поделятся дата-инженеры:

· Лоокуут Стручков из inDriver расскажет, как строил в компании DWH в облаке.
· Кирилл Оларь из Playrix поделится рассказом, как связаны 8 марта и Big Data.
· Самат Курманов из DataArt обсудит со зрителями, кто такой дата-инженер.
· Далер Бахриев из inDriver расскажет историю о первых шагах и шишках на пути внедрения стриминга данных.

Цель - организовать нетворкинг площадку для обмена опытом и общения в дружеской атмосфере.

Подробности и регистрация тут.

Еженедельный Субботний Онлайн Дата Завтрак

Место: Войс чат в телеграме (будем пробовать новый формат)
Канал: Data Breakfast
Время: 12:00 по времени GMT+6 Астана/Алматы

Приходите, обсудим дата топики, карьеру, просто пообщаемся

Краткое саммари прошлого дата бранча
- Обсудили поиск работы в Казахстане: @yefutan поделился точечным и обобщенным методом поиска будущего места работы, @dias_kh рассказал как он в офисы ходил и спрашивал нужен ли им ДС
- Обсудили принцип работы ГАНов, поговорили про современные text2image модели
- Обсудили форматы дата докладов и как их можно улучшить
- Арман поделился процессом хайринга в Амазон на Applied Scientist Intern
- Не провели авторское шоу Рената Алимбекова Разоблачения Нехороших Людей

Еженедельный Субботний Онлайн Дата Завтрак

Место: Войс чат в телеграме (пока остаемся здесь)
Канал: Data Breakfast
Время: 12:00 по времени GMT+6 Астана/Алматы

Приходите, обсудим дата топики, карьеру, просто пообщаемся

Краткое саммари прошлого дата бранча
- Обсудили магистратуру в КЗ за границей и насколько это важно при подаче в FAANG/MAANG/работы за бугром: @myxik поделился мнением, что магистратура не обязательна, если не идти в академию.
- Обсудили вымрет ли профессия аналитика в ближайшее время: @DanTN1 поделился мнением, что направление будет ещё актуально
- Обсудили вопрос важности изучения C++ для аналитика: @sneddy поделился опытом изучения плюсов в ШАДе, и мы пришли к мнению, что глубоко изучать язык для аналитика не обязательно
- Не провели авторское шоу Рената Алимбекова Разоблачения Нехороших Людей

Еженедельный Субботний Онлайн Дата Завтрак

Место: Наш дискорд сервер (ссылка https://discord.gg/vrdJxJdH)
Канал: Data Breakfast
Время: 14:00 по времени GMT+6 Астана/Алматы

Приходите, обсудим дата топики, карьеру, просто пообщаемся

Краткое саммари прошлого дата бранча
- Ренат провел авторское шоу Разоблачения Нехороших Людей про Казахстанские стартапы
- Обсудили сложность поиска работы для разработчика с узким стеком (Django)
- Обсудили инфоцыганство среди датасаентистов
- Обсудили коллаборацию универов и компаний и то, почему этот симбиоз может быть очень даже неплох
- @bayev_alen рассказал о том, что ML на Go это очень очень больно

​​Закончился 5-ый ежегодный Хакатона HackNU 2022!

В этом году там была задача от Beeline Казахстан.
Задачей было на основе pyspark скриптов воссоздать зависимости для каждого окончательно обработанного столбца, которые мы получаем при запуске скриптов и их взаимосвязь.

Поздравляем победителей:

1 место: The Glider (Рауан Омаров, Акежан Ракишев, Дулат, Камила Мадиниятова) - Приз: 500К тг.
Реализованный алгоритм отработал корректно на имеющимся private test, большой плюс за то, что учитывались скрытые зависимости, которые появляются при фильтрации и джойнах, реализовали сами алгоритм поиска в глубину и использовали классы. В целом скрипт отрабатывает за 0.000882

2 место - ПКЛПО (Нурхан Лайык, Андрей Повстянко, Аружан Сабырбек, Арман Болатов) - Приз: 100К тг.
Алгоритм показал отказоустойчивость и универсальность, алгоритм работает корректно и находит прямые зависимости, но не находит скрытые зависимости, в целом по коду вопросов
нет работает довольно быстро (среднее время 0.000639)

3 место - Милана Беганцова
Приз: мерч
Команда не стала строить полный граф, а вначале отфильтровала граф и убрала все временные вершины, тем самым она потеряла скрытые связи между входными колонками и выходными, поэтому в результате выходной json не корректный, алгоритм работает дольше чем у первой команды так как имеются множественные вложенные циклы (среднее время 0.01109)

Все участники команд, занявших первое и второе место так же получили приглашение пройти интервью и стать сотрудниками Beeline Казахстан.

Так же отдельным приз в виде мерча дали одному из самых активных участников обсуждений.

PS
Отдельное спасибо @Noname4mypage за его инициативу, благодарю которой мы смогли поучаствовать в этом хакатоне.

Решения команда:
1 место: github.com/dulataldazharov/HackNU-2022---Beeline
2 место: github.com/IwannabeSplendid/Web_hack и github.com/wertypotom/graphs
3 место: github.com/kankeinai/HackNU-2022-Beeline-Case

Фото:
https://cloud.mail.ru/public/GHHn/sUMNAnCY8

Еженедельный ВоскресныйСубботний Онлайн Дата Завтрак

Место: Наш дискорд сервер (ссылка https://discord.gg/waJY7j6D)
Канал: Data Breakfast
Время: 14:00 по времени GMT+6 Астана/Алматы

Приходите, обсудим дата топики, карьеру, просто пообщаемся

Краткое саммари прошлого дата бранча:
- Обсудили специфику работы квантов: как примерно работает трейдинг, почему простая ЛСТМ не справится с тем, чтобы заработать «многа денех»
- Осудили Обсудили технический анализ: почему это не работает и плохо
- Обсудили Сеул
- Не провели авторское шоу Рената Алимбекова Разоблачения Нехороших Людей

​​​​А мы напоминаем, что у вас есть возможность присоединиться к нашему сообществу энтузиастов машинного обучения в Казахстане Жана DSML Kazakhstan

Основная идея этого проекта: сделать наше сообщество более открытым, неанонимным и доверительным.

Основное отличие: внедрение сгенерированных на этапе регистрации визитных карточек (как на картинке выше)

Мы надеемся, что внедрение данных визиток фасилитирует живое общение, новые волонтерские проекты, менторскую программу, очные и заочные митапы, а также повысит уровень доверия в нашему контенту!

Это ни в коем случае не закрытое сообщество для избранных, и оно как и раньше открыто для любого увлеченного анализом данных человека.
Все, что от вас требуется: зарегистрироваться в нашем новом боте @databek_bot

Будьте внимательны с анкетой: заполнив ее раз, вы не сможете изменить полученную визитку вплоть до момента вхождения Казахстана в топ-30 конкурентноспособных экономик мира

Семинар “Исследование поведенческих паттернов геймеров на основе датасетов, собранных социальной сетью для любителей видеоигр Gameram”

GameLab KBTU в сотрудничестве с Gameram приглашают на открытый онлайн семинар, где мы поделимся гипотезами и возможностями для исследолвательской деятельности на основе датасетов социальной сети Gameram.

Задача семинара - собрать исследовательскую группу, которая сможет провести исследование поведенческих паттернов геймеров, используя датасеты Gameram.

Семинар будет проходить онлайн. К участию приглашаются все заинтересованные лица.

12 октября, 17:00, Microsoft Teams, регистрация по ссылке

Еженедельный Субботний Онлайн Дата Завтрак

Место: Наш дискорд сервер (ссылка https://discord.gg/ZczXAvsK)
Канал: Data Breakfast
Время: 14:00 по времени GMT+6 Астана/Алматы

Приходите, обсудим дата топики, карьеру, просто пообщаемся

Краткое саммари прошлого дата бранча:
- обсудили возможный буст айти индустрии в КЗ, в свете последних событий(без политики);
- обсудили кейс Диаса, по датаматачингу(ака кроссвалидации), как он провернул свою идею и фичи с поиском одинаковых объявлений;
- обсудили кибербезопасность в ДС, послушали ликбез от @vuvko, и опыт faceteca с их баунтихантингом;
- ответили на вопрос Михаила о будущем ДС;
- обсудили зрелость компаний по поводу имплементации ДС в проде и торможении прогресса разного рода силами;
- также прошлись по Verigram Kazakhstan, оценили их веб-сайт, и их кейсы
- Не провели авторское шоу Рената Алимбекова Разоблачения Нехороших Людей

На следующей неделе (10-14 октября) в Назарбаев Университете пройдёт «Выставка Отказов».

Идея выставки в том, чтобы начать открыто говорить об отказах, которые мы получаем от универов, стажировок, работодателей, понравившихся нам людей и отойти от красивых и умных постов в линкдине и инсте.

Думаем, что эта выставка поможет студентам, которые переживают из-за отказов снять невидимый груз с души. Если вдруг вы тоже хотите присоединиться к выставке, то вы сможете сделать это несколькими способами:

1) отправить скрины реджектов в телеграме Гульзаде @gulzadaxan

2) заполнить форму по ссылке: https://forms.gle/dp6jK8e126o3tkds8

Организаторы всё распечатают сами и могут оставить ваши реджекты анонимными.

23 сентября в Nazarbayev University стартовал пятый NU Hackathon, на котором в этом году было представлено два кейса: от Google и Beeline Казахстан. 80 команд готовили решения на протяжении 36 часов, а утром 25 числа презентовали их жюри.

Мы поговорили с организаторами и участниками хакатона, чтобы понять, какие эмоции испытывают участники во время ивента, что было сложного в решении кейса, почему стоит участвовать в подобных мероприятиях.

https://weproject.media/articles/detail/v-astane-proshel-pyatyy-nu-hackathon-kak-my-ego-zapomnim/