На что стоит рассчитывать на первой работе: путь стажера (data engineer)

В этой статье автор поделится своим опытом и даст несколько рекомендаций людям, которые только начинают свой путь в области работы с данными и хотели бы узнать, какие задачи предстоит выполнять, оказавшись на своем первом рабочем месте.

Секреты аналитики

Методы очистки данных в Pandas

Аналитики данных часто сталкиваются с грязными данными, которые могут существенно замедлить процесс анализа. Грязные данные – это пропущенные значения, дубликаты, неконсистентные данные. Очищать грязные данные можно c помощью Pandas. В этой статье автор рассматривает основные методы.

Секреты аналитики

ТОП вопросов на собеседовании Data Scientist: разбор ответов

0:00 Общие вопросы
0:53 Линейные модели
2:17 Оптимизаторы
3:39 Переобучение
5:20 Ансамбли и их алгоритмы
6:45 Bias-Variance tradeoff
7:48 Рекомендации по избранию факапов
8:29 Дополнительные вопросы

Смотреть это видео на youtube: youtu.be/o1HpQAwAa4A

Секреты аналитики

Чем занимаются специалисты по работе с данными и как стать Data-инженером

В этом материале автор рассказывает, чем отличаются подходы к построению распределённых хранилищ данных Data Warehouse (DWH) и Data Lake и в чём специфика задач специалистов, работающих с данными.

Секреты аналитики

Как я стал аналитиком: путь от «чистого гуманитария» до работы в крупной фудтех-компании

Аналитика данных — одно из самых перспективных и сложных направлений в ИТ. Но, несмотря на высокий порог входа, попасть в эту сферу можно, будучи еще студентом. В этом материале автор рассказывает о своем пути к должности продуктового аналитика.

Секреты аналитики

Опыт работы с данными или с чем может столкнуться аналитик

В этой статье автор хотел бы погрузить вас в мир данных и вспомнить:
• какие встречались проекты, связанные с хранилищами и данными
• какие задачи приходилось решать
• какие навыки пригодились

Секреты аналитики

Polars - лучший инструмент Data Scientist для обработки данных

00:00 Что такое Polars?
00:42 Установка и считывание данных
02:01 Базовые операции
03:53 MLOps инструменты
05:01 Выбор столбцов
06:09 Индексы
06:27 Фильтрация по условиям
07:31 Агрегация информации
08:54 Изменение данных
11:14 Аналог map для строк в Polars
11:37 Group By и Pivot
13:45 Визуализация данных

Смотреть это видео на youtube: youtu.be/kACKlWBK1s0

Секреты аналитики

Как автоматизировать проверки данных в Airflow с Great Expectations

Эта статья будет интересна, тем кто понимает принципы работы с Great Expectations, как минимум, базово знаком с составляющими компонентами и хочет вывести этот инструмент на прод с использованием Apache Airflow.

Секреты аналитики

«Иногда твоя работа выглядит магией»: что делают дата-сайентисты в промышленности и почему так востребованы

Data Science уже давно вышла за пределы ИТ-компаний, шагнула дальше банков и телекома и пришла в промышленность, в том числе тяжёлую. Традиционные подходы исчерпали свой потенциал за десятки лет постоянных оптимизаций и улучшений. Поэтому все обратили внимание на работу с данными.

Секреты аналитики

Базовые возможности Power BI

В этом видеоуроке автор познакомит вас с принципами работы и возможностями Power BI Desktop. Вы узнаете, как создавать надежные модели данных и грамотные отчеты, чтобы повысить эффективность бизнес-аналитики.

Благодаря сочетанию Power BI Desktop и службы Power BI становится гораздо проще моделировать, строить, совместно использовать и расширять новые идеи из мира данных. Power BI Desktop централизует, упрощает и ускоряет то, что в противном случае могло бы представлять собой разрозненный, неупорядоченный и достаточно сложный процесс.

Смотреть это видео на youtube: youtu.be/OURwuBhXA6E

Секреты аналитики

Два подхода моделирования исторических данных

В этой статье автор расскажет про два подхода моделирования исторических данных:
• использование временных таблиц
• использование исторических таблиц

Секреты аналитики

Обзор дашборда в QlikSense

В этом видео автор подробно разбирает дашборд, созданный в QlikSense на основе датасета Superstore.

00:16 Загрузочный скрипт
01:56 Структура дэшборда
03:04 Работа с Variable Input
04:45 Динамическое переключение показателей
05:50 KPI, показатели YoY, переменные
07:25 Меры
09:46 Диаграмма Treemap
10:30 Измерения
11:10 Drilldown
12:39 Число показателей в диаграммах
13:10 Точечная диаграмма
14:45 Всплывающие подсказки и их настройка

Смотреть это видео на youtube: youtu.be/AbcxCD1wUjU

Секреты аналитики

Что такое Data Observability и с чем ее едят?

В последние годы растет сложность IT-инфраструктуры в компаниях и, соответственно, спрос на сервисы мониторинга ее работоспособности. Классический мониторинг - это наблюдение за работой инфраструктуры и приложений. А Data Observability позволяет осуществлять мониторинг потоков данных (и даже бизнес-процессов) и находить в них сбои.

Секреты аналитики

Бесконечные проверки – к успешному развитию: как мы обеспечиваем качество данных

В этой статье автор расскажет о процессе мониторинга качества данных. На первый взгляд может показаться, что проверять таблицы – задача рутинная и однотипная, но это не так, ведь все данные имеют свои особенности, а значит и проверки для них зачастую создаются уникальные.

Секреты аналитики

Знакомство с разработкой SAP Data Services

SAP Data Services — это графический ETL инструмент для обеспечения качественной обработки данных и их интеграции в единое хранилище. Используя Data Services можно преобразовывать и очищать данные, независимо от их источника.

Секреты аналитики

Как развить в компании культуру принимать решения на основе данных

Data-driven подход - это метод управления бизнесом, основанный на анализе данных. Он позволяет компаниям принимать решения на основе фактов и цифр, а не на основе интуиции или предположений. В результате, компания может оптимизировать свою деятельность, увеличить эффективность и прибыльность, а также улучшить качество продукции или услуг. В этой статье мы рассмотрим, как внедрить data-driven подход в компанию.

Секреты аналитики

Лучшие книги для аналитика (a/b тесты, статистика и data science)

В этом ролике автор рассмотрит что почитать аналитику, чтобы лучше делать свою работу. Автор расскажет про свои любимые книги про a/b тесты, статистику, машинное обучение, data science и аналитику в целом.

00:00 Статистика и котики
03:50 Illustrated guide to machine learning (книга и YouTube канал)
06:00 Графики, которые убеждают
08:02 Бережливая аналитика
09:53 Роман с Data science. Как монетизировать большие данные?
10:40 Лучшая книга по АБ тестам
14:30 Data Detective

Смотреть это видео на youtube: youtu.be/QR6jo3IN2VI

Секреты аналитики

Как правильно лгать с помощью статистики

Статистика, инфографика, big data, анализ данных и data science — этим сейчас кто только не занят. Все знают как правильно всем этим заниматься, осталось только кому-то написать как НЕ нужно этого делать. В данной статье автор именно этим и займется.

Секреты аналитики

Data Engineering: концепции, процессы и инструменты

Фундамент для аналитических проектов закладывает специальная дисциплина — Data Engineering. В этой статье автор подробно рассмотрит процесс data engineering, расскажет о его базовых компонентах и инструментах, а также опишет роль дата-инженера.

Секреты аналитики

📌 15 секретов Excel, которые помогут вам в работе

00:34 Открытие нескольких файлов одновременно
01:12 Быстрое выделение ячеек
01:54 Перемещение по файлам Excel
02:29 Быстрое построения числовых рядов
03:36 Добавление в таблицу пустых строк или столбцов
04:13 Скоростное копирование и перемещение информации
05:01 Быстрая навигация
05:50 Быстрое изменение порядка представления данных
06:31 Изменение регистра букв
07:10 Транспонирование данных
07:45 Выделение только видимого диапазона ячеек
08:59 Быстрое заполнение пустых ячеек
09:56 Создание выпадающего списка данных
11:07 Выделение зависимых ячеек
11:46 Скрытие значений ячеек

Смотреть это видео на youtube: youtu.be/EFPzl3CNB9g

Секреты аналитики