Когда сервис доставки вырос до приложения с 25 миллионами пользователей, привычная диагностика начала давать сбои. Серверы выглядели свободными, но запросы продолжали копиться.
Решение — резервный канал формирования метрик с ошибками. В итоге система перестала удивлять — стала предсказуемой под нагрузкой.
В новой статье на Хабре разбираем, как ограничивали нагрузку, меняли балансировку, настраивали PostgreSQL и выносили тяжёлые запросы из продовой базы.
🔗 Подробности в статье
Решение — резервный канал формирования метрик с ошибками. В итоге система перестала удивлять — стала предсказуемой под нагрузкой.
В новой статье на Хабре разбираем, как ограничивали нагрузку, меняли балансировку, настраивали PostgreSQL и выносили тяжёлые запросы из продовой базы.
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍12❤8🔥7
Как построить карьеру в IT, будучи студентом?
Лада пришла на стажировку на втором курсе, осталась в компании и выросла до ведущего аналитика данных X5 Tech. Подробнее о её пути читай в наших карточках.
Хочешь так же?
Начни с большего на стажировке BIG IN
Лада пришла на стажировку на втором курсе, осталась в компании и выросла до ведущего аналитика данных X5 Tech. Подробнее о её пути читай в наших карточках.
Хочешь так же?
Начни с большего на стажировке BIG IN
🔥15
Вторая четвёрка спикеров X5 Tech на Data Fest
🔗 Зарегистрироваться на Data Fest можно по ссылке — Это бесплатно!
💜 — уже зарегистрировался на Data Fest
🔥 — бегу регистрироваться
🔥 — бегу регистрироваться
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥9
А какой праздник без торта? Принимаем эстафету от Чижика!
Мы в X5 Tech подготовили кусочек, который говорит сам за себя — в буквальном смысле.
Разрезаешь — а внутри три слоя, как три уровня любого хорошего продукта:
Наш кусочек торта — это технологии, которые обеспечивают работу миллионов покупателей каждый день.
X5 Transport, передаём лопатку вам! Какой тортик везёте?
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥16❤15
В клиентских данных важно хранить историю изменений: смену телефона, отзыв согласия на рассылку т.д. Для этого используют SCD-2 — подход, позволяющий восстановить состояние записи на любую дату.
В новой статье на Хабре разбираем построение SCD-2-витрины на Trino, Iceberg и Airflow:
• разделение ETL-процесса на 8 SQL-шагов;
• применение hashdiff_key, MERGE и IS DISTINCT FROM;
• ограничения источника, которые важно учесть;
• автоматизация сборки через собственный Airflow-оператор.
Будет полезно тем, кто работает с витринами, миграциями хранилищ и регулярными загрузками данных.
🔗 ссылка на статью
В новой статье на Хабре разбираем построение SCD-2-витрины на Trino, Iceberg и Airflow:
• разделение ETL-процесса на 8 SQL-шагов;
• применение hashdiff_key, MERGE и IS DISTINCT FROM;
• ограничения источника, которые важно учесть;
• автоматизация сборки через собственный Airflow-оператор.
Будет полезно тем, кто работает с витринами, миграциями хранилищ и регулярными загрузками данных.
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍9🔥6