На Хабре рассказали, как оптимизировать Shuffle в Spark

Операция по обмену данными между исполнителями (Shuffle) является неотъемлемой частью любого Spark-приложения, но она отнимает время и создаёт большую нагрузку на сеть. Важно минимизировать количество Shuffle, чтобы сократить время выполнения задач. 

Сергей Смирнов, аналитик в продукте CVM в X5 Tech, в статье рассказал о том, какие оптимизации помогли ему избавиться от самых тяжёлых операций Shuffle. Речь пойдёт не только о BroadcastJoin, но и о двух других неочевидных методах – предварительное репартицирование и бакетирование.

Читать на Хабре

Уровень «цифровой зрелости» компаний в России выше, чем в среднем по миру

В новом эпизоде подкаста Data Therapy мы обсуждаем применение больших данных и искусственного интеллекта в бизнесе, говорим о цифровой трансформации в российских компаниях, важности образования и обучения для повышения уровня компетенций менеджмента, а также о роли CDTO (Chief Digital Transformation Officer). 

Вместе с нашим гостем – Николаем Верховским, директором Центра цифровых программ Московской школы управления Сколково – отвечаем на такие вопросы:

🎓Как сейчас развивается рынок CDTO в России и почему это уже не отдельная должность, а часть компетенций линейного менеджмента?
🎓Какими компетенциями должен обладать CDTO? Кому он должен подчиняться и как правильно выстраивать взаимодействие внутри компании для успешного проведения цифровой трансформации?
🎓Лидеры в сфере цифровой трансформации – кто они? Существует ли «волшебная пилюля» цифровой трансформации?
🎓Какова роль образования и внутренних программ обучения для менеджмента компании? Какую ценность это даёт и зачем здесь нужен генеративный ИИ?
🎓Как будет развиваться и трансформироваться роль CDTO в бизнесе в ближайшие 5 лет?

Ведущие подкаста – Дмитрий Прусов, директор департамента монетизации данных Х5 Group, и Тигран Саркисов, CDO Х5 Tech.

Слушать выпуск

Специальный летний сезон подкаста Forbes «Go учиться» завершился. Он был записан на открытой площадке антиконференции X5 Future Night. В гостях — молодые профессионалы, которые посотроили успешную карьеру до 30 лет:

🎙 От домашнего компьютера до корпорации. Андрей Сухань, CDO «Райффайзенбанка» в России, победитель категории «Управление» рейтинга Forbes «30 до 30».

🎙От стажера до сеньора. Александр Сахнов, руководитель направления мультивариативного анализа Х5 Tech.

🎙От подработки до руководства. Татьяна Крестьянинова, глава отдела развития бизнеса Alfa API, Alfa ID и Alfa Pay, победитель в категории «Финансы и инвестиции» рейтинга Forbes «30 до 30». 

🎙От юриста до руководителя в музыкальном лейбле. Владимир Кузьмичев, руководитель направления артистов и репертуара (A&R) «МТС Лейбла», преподаватель Moscow Music School.

🎙Как прокачать себя и сохранить человечность. Алия Жылгелдиева, руководитель отдела подбора массового персонала Х5 Digital.

Нужна виртуальная машина с доступностью 100%. Разве я многого хочу?

Доступность – очень важная и, одновременно, одна из самых спорных метрик в ИТ-мире. Для того, чтобы ей управлять, необходимо оцифровать этот показатель и при этом предоставить всем понятную метрику, которой могут оперировать и инженеры, и архитекторы, и менеджеры среднего звена, принимающие решения, и топ-менеджеры, формирующие стратегии.

Александр Москвин, начальник управления эксплуатации облачной инфраструктуры Х5 Tech, в своей статье агрегировал и описал имеющиеся подходы и выстроил логику, которую можно использовать при принятии тех или иных решений по обеспечению доступности критичных сервисов.

Статья родилась из жарких дебатов по целевым показателям доступности Облака X5 и серии больших внутренних митапов, посвящённых этой теме. 

Читать на Хабре

Рефакторим дизайн-систему, чтобы верстать макеты без боли

Отлаженная дизайн-система – отличный инструмент для комфортной работы. Но бывает и наоборот: что-то пошло не так, где-то не проследили. И вот ваша система, призванная навести порядок и сделать всем хорошо, сама заросла бурьяном и разваливается на части.

Что делать в таком случае – в своей статье рассказывает Денис Гузенко, продуктовый дизайнер X5 Tech, который недавно вместе с коллегами приводил в порядок, чистил и доводил до ума дизайн-систему внутреннего бэк-офиса X5 для личного кабинета сотрудника. 

На какие подводные камни наткнулись коллеги, к чему готовиться и зачем вообще заниматься рефакторингом в дизайне – читайте в блоге на Хабре.

«Перекрёсток» запустил новое мобильное приложение для сотрудников магазинов. Мобильный помощник UNA (УНА) объединяет в едином супераппе инструменты и сервисы, которые используют сотрудники супермаркетов каждый день. 

UNA помогает планировать задачи, следить за их выполнением и ставить приоритеты. 
Пилот приложения уже показал рост операционной эффективности на 12%, снижение потерь до 15%, дисциплину отработки задач — на 25%. 

Суперапп разработан специалистами Х5 Tech и «Перекрёстка» с учётом обратной связи от сотрудников и лучших практик на рынке. 

Антон Сироткин, технический директор домена «Операции и эксплуатация торговой сети “Перекрёсток”»:

«Мы все давно привыкли к тому, что практически вся наша жизнь находится в мобильных устройствах. Это стало нормой и обычной практикой. Мы поставили перед собой цель сделать то же самое и с рабочими задачами для сотрудников «Перекрёстков» – чтобы процесс их выполнения был таким же простым, удобным и быстрым, как общение в мессенджерах и соцсетях. Потому что мы понимаем, что удобство использования устройств сотрудниками – это ключевой момент».

Читать новость подробнее

X5 начал развитие собственной беспилотной доставки

Пилот доставки онлайн-заказов с помощью роботов-курьеров происходит из магазинов «Пятёрочка» в районе метро «Аэропорт» в Москве. В планах Х5 Доставки увеличить штат роботов и подключить к сервису супермаркеты «Перекрёсток». 

Роботы-курьеры самостоятельно передвигаются в условиях города, умеют определять и объезжать препятствия. Они используют разные типы сенсоров – лидары, камеры и радары, которые помогают видеть объекты, а также HD-карты для локализации в пространстве. Нейросети помогают роботам распознавать объекты и принимать решение по маршруту. 

На сегодняшний день мы первый ритейлер, запустивший собственную доставку роботами.

Подробнее – в новости

Рассказали на Хабре про множественную проверку гипотез в А/Б тестировании

Саша Сахнов и Коля Назаров – аналитики данных в Х5 Tech – в статье объясняют, как проверять много гипотез в одном эксперименте и почему растут вероятности ошибок.   

Авторы делают обзор метрик множественного тестирования и поправок, которые позволяют их контролировать, а также показывают, как оценить необходимый размер групп и повысить чувствительность.

Читать статью

Х5 внедрила прогнозирование ресурсов на базе искусственного интеллекта в «Перекрёстках»

Система собственной разработки X5 Tech – «Калькулятор ресурсной потребности» – позволяет рассчитывать потребность в количестве персонала для каждого конкретного магазина с учётом его технических особенностей и тем самым повышать эффективность работы.

Антон Сироткин, технический директор домена «Операции и эксплуатация торговой сети “Перекрёсток”»:

“Новая модель прогнозирования на принципах машинного обучения (ML) уже показала свою эффективность в торговой сети «Пятёрочка». Торговая сеть «Перекрёсток» переиспользовала и тиражировала решение на всю торговую сеть с августа этого года. «Калькулятор» собирает оцифрованные данные из более чем 10 информационных систем компании. На основании этих данных и прогноза спроса ML-модели для каждого магазина выстраивается свой план по загруженности персонала, объёму работ и количеству необходимых смен”.

Компания планирует дальнейшее совершенствование инструмента с помощью технологий ИИ. 

Узнать больше в новости

Друзья, мы продлеваем лето! Мы договорились с погодой, что тёплые деньки ещё какое-то время продержатся. А пока вспомним, что мы делали этим летом: ходили на рыбалку, удивлялись северному сиянию, проводили рабочие созвоны прямо на бегу, занимались шахматами, играли в теннис, уставали на стройке, ночевали в палатках! 🌲🌈🏕

Но нам интересно: а чем же занимались летом вы? Поэтому мы вместе с Хабром запускаем конкурс на лучшую историю о вашем лете! Подробнее о том, как поучаствовать, читайте в нашей статье.

Авторы самых крутых историй получат от нас призы:
• Билеты на двоих с открытой датой в любую точку России — туда и обратно. Таких призов всего два: один получит автор поста с самым высоким рейтингом, а второго мы выберем сами по личным предпочтениям. Если у вас была мечта поехать на Байкал, в Карелию, Сочи, Домбай — да хоть на Камчатку — мы её осуществим. ✈️
• Промокоды на 3000 рублей в сети доставки суши и роллов «Много лосося». Таких призов у нас 10 — их мы отдадим авторам ещё десяти крутых историй о лете. 🍣

Продлим лето?
*Где-то рядом звучит песня «Я так хочу, чтобы лето не кончалось, чтоб оно за мною мчалось…»*