Developers Community Partners
1.02K subscribers
11 photos
7 files
705 links
DEVCOM — сервис по аренде ИТ-специалистов по формату аутстафф. Специализируемся на 1С разработчиках и аналитиках, Backend, Frontend, Mobile → devcom.ru.

@akalutskiy — пишите по вопросам сотрудничества

@devcom_ru — канал руководителя Devcom
Download Telegram
#Data_Science_и_ML #Data_Engineer

Номер заявки: 26115

Роль специалиста:
Data Engineer
Уровень: Senior

Количество специалистов: 1

Требования к специалисту:
Высшее техническое/математическое/экономическое образование;
Опыт работы аналитиком данных от 2 лет;
Знание и опыт работы SQL (Oracle, Hadoop, Vertica);
Опыт работы с Python и реализации ETL-процессов;
Опыт работы со всем циклом аналитики от проектирования архитектуры решения до визуализации (Power BI / SuperSet);
Знание методов анализа данных и математической статистики;
Исключительные аналитические способности;
Работа с большим объемом информации в ограниченные сроки;
Умение строить на основе данных гипотезы и выделять ключевые факторы;
Умение работать самостоятельно с минимальным включением руководителя;
Желателен опыт работы в банковской сфере или в сфере Путешествий.
Умение выбирать метрику под бизнес-задачу
Опыт написания кода в прод
Опыт проведения АБ тестов

Задачи:
Анализировать общерозничные показатели для целей внутренней отчетности сервиса (обороты, доходы, расходы и мн.др.);
Анализировать поведение клиентов с целью выявления ключевых тенденций и зависимостей;
Выявлять факторы, влияющие на доходность в различных разрезах;
Формировать регулярную отчетность, вкл. визуализацию данных;
Разрабатывать и поддерживать BI-отчетность;
Рассчитывать эффекты от различных сценариев изменений, оценивать инициативы от бизнеса;
Готовить ad-hoc аналитику для руководства.
Разработка продуктовых моделей: модели склонности (к продуктам, к бизнес действиям), регрессионные модели (модели дохода, модели трат и пр), uplift модели на табличных данных
Вывод моделей в продакшн;
Развивать и поддерживать внутренний фреймворк для разработки моделей;
Проводить пилоты гипотез.

Локация специалиста: Россия

Формат работы: Удаленно

Допустимый часовой пояс: (MSK) Москва

❗️ Важно! При подаче кандидата укажите в сообщении:
• Дату готовности к выходу на проект.

📄 В самом резюме обязательно должны быть:
• ФИО, дата рождения, локация (страна и город);
• Грейд, ключевые компетенции и стек;
• Подробное описание роли, задач и применяемых технологий на каждом проекте.

Вопросы и CV направляйте:
#Data_Science_и_ML #Data_Engineer

Номер заявки: 28687

Роль специалиста:
Data Engineer
Уровень: Senior

Количество специалистов: 1

Требования к специалисту:
- Знание принципов построения хранилищ данных;
- Понимание архитектур MPP систем;
- Опыт работы с экосистемой Hadoop/навыки
Data Engineer (HDFS/YARN/Spark/kafka/Nifi/Sqoop/flume и т.д.);
- Знание SQL (DDL, DML), опыт оптимизации запросов;
- Опыт работы с Greenplum либо отличное знание PostgreSQL;
- Практический опыт работы с SAS DIS/Informatica PowerCenter;
- Опыт использования системам ведения проектов и документации, сопровождения и мониторинга информационных систем, находящихся в зоне ответственности;
- Навык работы с Git, Jira, Confluence.

Задачи:
- Проектирование и разработка потоков данных на ETL/ELT инструментах;
- Имплементация кастомных трансформаций;
- Проектирование и построение прототипов, витрин;
- Анализ производительности, масштабирование существующих систем;
- Оптимизация SQL запросов и структур баз данных;
- Разработка процедур на языке PL/pgSQL;
- Развитие архитектуры DWH, анализ и выбор оптимальных технологий, методологий, инструментов;
- Создание и актуализация базы знаний для пользователей DWH.

Локация специалиста: Россия

Формат работы: Удаленно

Допустимый часовой пояс: (MSK) Москва

❗️ Важно! При подаче кандидата укажите в сообщении:
• Дату готовности к выходу на проект.

📄 В самом резюме обязательно должны быть:
• ФИО, дата рождения, локация (страна и город);
• Грейд, ключевые компетенции и стек;
• Подробное описание роли, задач и применяемых технологий на каждом проекте.

Вопросы и CV направляйте:
#Data_Science_и_ML #Data_Engineer

Номер заявки: 29087

Роль специалиста:
Data Engineer
Уровень: Senior

Количество специалистов: 1

Требования к специалисту:
Опыт участия в проектах миграции ETL-систем (Apache стек);
Опыт разработки на Python (написание ETL-скриптов, работа с pandas, интеграция с API);
Опыт написания и отладки DAG'ов в Apache Airflow (не только проектирование, но и разработка);
Опыт работы с PySpark (трансформации, оптимизация, партиционирование);
Опыт миграции ETL-процессов с Informatica PowerCenter на открытый стек (Airflow + Greenplum);
Глубокое практическое знание NiFi и Airflow: проектирование потоков, подключение источников, обработка ошибок, мониторинг, отладка;
Опыт работы с качеством данных: разработка правил валидации, анализ влияния на бизнес-процессы;
Понимание архитектурных подходов к проектированию хранилищ, различие ETL и ELT;
Опыт работы с Hive metastore (устройство, хранение на PostgreSQL) и форматами файлов (Parquet, ORC);
Опыт работы с Oracle;
Опыт применения сложных SQL-запросов (оконные функции, джоины);
Умение оптимизировать запросы для highload-среды;
Опыт проектирования интеграций Apache-стека с Kafka и BI-системами;
Опыт настройки потоковой обработки данных;
Опыт работы с Hadoop и Hive (знание версий, источников данных);
Опыт работы с PostgreSQL, Greenplum, Clickhouse;
Опыт работы с Grafana/Prometheus для отслеживания ETL-процессов;
Опыт работы с биллингом;
Опыт автоматической валидации и контроля качества данных после миграции (сравнение результатов, метрики);
Будет плюсом:
Опыт в системном анализе ETL;
Опыт TeamLead (управление командой) не менее 4 лет;
Умение переводить бизнес-требования в технические спецификации;
Опыт подготовки документации для пользователей и разработчиков;
Опыт создания ER-диаграмм, инструкций, тест-кейсов.

Задачи:
Участие в миграции ИС на Apache стек;
Подготовка документации AS IS и TO BE;
Написание SQL кода;
Отслеживание метрик.

Срок привлечения: 17 мес.

Локация специалиста: Россия

Формат работы: Удаленно

Допустимый часовой пояс: (MSK) Москва

❗️ Важно! При подаче кандидата укажите в сообщении:
• Дату готовности к выходу на проект.

📄 В самом резюме обязательно должны быть:
• ФИО, дата рождения, локация (страна и город);
• Грейд, ключевые компетенции и стек;
• Подробное описание роли, задач и применяемых технологий на каждом проекте.

Вопросы и CV направляйте:
#Data_Science_и_ML #Data_Engineer

Номер заявки: 29823

Роль специалиста: Data Engineer
Уровень: Senior

Количество специалистов: 1

Требования к специалисту:
- Опыт разработки ETL/ELT-процессов, в которых значительная часть логики реализована на стороне СУБД;
- Опыт разработки и сопровождения хранимых процедур / функций в СУБД;
- Практический опыт использования SQL/PLSQL или аналогичных процедурных расширений SQL для реализации загрузок и трансформаций данных;
- Опыт участия в проектах миграции ETL-систем (Apache стек);
- Опыт разработки на Python (написание ETL-скриптов, работа с pandas, интеграция с API);
- Опыт написания и отладки DAG'ов в Apache Airflow (не только проектирование, но и разработка);
- Опыт работы с PySpark (трансформации, оптимизация, партиционирование);
- Опыт миграции ETL-процессов с Informatica PowerCenter на открытый стек (Airflow + Greenplum);
- Глубокое практическое знание NiFi и Airflow: проектирование потоков, подключение источников, обработка ошибок, мониторинг, отладка;
- Опыт работы с качеством данных: разработка правил валидации, анализ влияния на бизнес-процессы;
- Понимание архитектурных подходов к проектированию хранилищ, различие ETL и ELT;
- Опыт работы с Hive metastore (устройство, хранение на PostgreSQL) и форматами файлов (Parquet, ORC);
- Опыт работы с Oracle;
- Опыт применения сложных SQL-запросов (оконные функции, джоины);
- Умение оптимизировать запросы для highload-среды;
- Опыт проектирования интеграций Apache-стека с Kafka и BI-системами;
- Опыт настройки потоковой обработки данных;
- Опыт работы с Hadoop и Hive (знание версий, источников данных);
- Опыт работы с PostgreSQL, Greenplum, Clickhouse;
- Опыт работы с Grafana/Prometheus для отслеживания ETL-процессов;
- Опыт работы с биллингом;
- Опыт автоматической валидации и контроля качества данных после миграции (сравнение результатов, метрики);
Будет плюсом:
Опыт в системном анализе ETL;
Опыт TeamLead (управление командой) не менее 4 лет;
Умение переводить бизнес-требования в технические спецификации;
Опыт подготовки документации для пользователей и разработчиков;
Опыт создания ER-диаграмм, инструкций, тест-кейсов.

Задачи:
Миграция ETL-процессов с Informatica PowerCenter на целевой стек: NiFi + Airflow + Greenplum + SQL/хранимые процедуры.
Подготовка документации AS IS и TO BE;
Написание SQL кода;
Отслеживание метрик.

Локация специалиста: Россия

Формат работы: Удаленно

Допустимый часовой пояс: (MSK) Москва

❗️ Важно! При подаче кандидата укажите в сообщении:
• Дату готовности к выходу на проект.

📄 В самом резюме обязательно должны быть:
• ФИО, дата рождения, локация (страна и город);
• Грейд, ключевые компетенции и стек;
• Подробное описание роли, задач и применяемых технологий на каждом проекте.

Вопросы и CV направляйте:
#Data_Science_и_ML #Data_Engineer

Номер заявки: 29823

Роль специалиста: Data Engineer
Уровень: Senior

Количество специалистов: 1

Требования к специалисту:
- Опыт разработки ETL/ELT-процессов, в которых значительная часть логики реализована на стороне СУБД;
- Опыт разработки и сопровождения хранимых процедур / функций в СУБД;
- Практический опыт использования SQL/PLSQL или аналогичных процедурных расширений SQL для реализации загрузок и трансформаций данных;
- Опыт участия в проектах миграции ETL-систем (Apache стек);
- Опыт разработки на Python (написание ETL-скриптов, работа с pandas, интеграция с API);
- Опыт написания и отладки DAG'ов в Apache Airflow (не только проектирование, но и разработка);
- Опыт работы с PySpark (трансформации, оптимизация, партиционирование);
- Опыт миграции ETL-процессов с Informatica PowerCenter на открытый стек (Airflow + Greenplum);
- Глубокое практическое знание NiFi и Airflow: проектирование потоков, подключение источников, обработка ошибок, мониторинг, отладка;
- Опыт работы с качеством данных: разработка правил валидации, анализ влияния на бизнес-процессы;
- Понимание архитектурных подходов к проектированию хранилищ, различие ETL и ELT;
- Опыт работы с Hive metastore (устройство, хранение на PostgreSQL) и форматами файлов (Parquet, ORC);
- Опыт работы с Oracle;
- Опыт применения сложных SQL-запросов (оконные функции, джоины);
- Умение оптимизировать запросы для highload-среды;
- Опыт проектирования интеграций Apache-стека с Kafka и BI-системами;
- Опыт настройки потоковой обработки данных;
- Опыт работы с Hadoop и Hive (знание версий, источников данных);
- Опыт работы с PostgreSQL, Greenplum, Clickhouse;
- Опыт работы с Grafana/Prometheus для отслеживания ETL-процессов;
- Опыт работы с биллингом;
- Опыт автоматической валидации и контроля качества данных после миграции (сравнение результатов, метрики);
Будет плюсом:
Опыт в системном анализе ETL;
Опыт TeamLead (управление командой) не менее 4 лет;
Умение переводить бизнес-требования в технические спецификации;
Опыт подготовки документации для пользователей и разработчиков;
Опыт создания ER-диаграмм, инструкций, тест-кейсов.

Задачи:
Миграция ETL-процессов с Informatica PowerCenter на целевой стек: NiFi + Airflow + Greenplum + SQL/хранимые процедуры.
Подготовка документации AS IS и TO BE;
Написание SQL кода;
Отслеживание метрик.

Локация специалиста: Россия

Формат работы: Удаленно

Допустимый часовой пояс: (MSK) Москва

❗️ Важно! При подаче кандидата укажите в сообщении:
• Дату готовности к выходу на проект.

📄 В самом резюме обязательно должны быть:
• ФИО, дата рождения, локация (страна и город);
• Грейд, ключевые компетенции и стек;
• Подробное описание роли, задач и применяемых технологий на каждом проекте.

Вопросы и CV направляйте:
#Data_Science_и_ML #Data_Engineer

Номер заявки: 29823

Роль специалиста:
Data Engineer
Уровень: Senior

Количество специалистов: 1

Требования к специалисту:
- Опыт разработки ETL/ELT-процессов, в которых значительная часть логики реализована на стороне СУБД;
- Опыт разработки и сопровождения хранимых процедур / функций в СУБД;
- Практический опыт использования SQL/PLSQL или аналогичных процедурных расширений SQL для реализации загрузок и трансформаций данных;
- Опыт участия в проектах миграции ETL-систем (Apache стек);
- Опыт разработки на Python (написание ETL-скриптов, работа с pandas, интеграция с API);
- Опыт написания и отладки DAG'ов в Apache Airflow (не только проектирование, но и разработка);
- Опыт работы с PySpark (трансформации, оптимизация, партиционирование);
- Опыт миграции ETL-процессов с Informatica PowerCenter на открытый стек (Airflow + Greenplum);
- Глубокое практическое знание NiFi и Airflow: проектирование потоков, подключение источников, обработка ошибок, мониторинг, отладка;
- Опыт работы с качеством данных: разработка правил валидации, анализ влияния на бизнес-процессы;
- Понимание архитектурных подходов к проектированию хранилищ, различие ETL и ELT;
- Опыт работы с Hive metastore (устройство, хранение на PostgreSQL) и форматами файлов (Parquet, ORC);
- Опыт работы с Oracle;
- Опыт применения сложных SQL-запросов (оконные функции, джоины);
- Умение оптимизировать запросы для highload-среды;
- Опыт проектирования интеграций Apache-стека с Kafka и BI-системами;
- Опыт настройки потоковой обработки данных;
- Опыт работы с Hadoop и Hive (знание версий, источников данных);
- Опыт работы с PostgreSQL, Greenplum, Clickhouse;
- Опыт работы с Grafana/Prometheus для отслеживания ETL-процессов;
- Опыт работы с биллингом;
- Опыт автоматической валидации и контроля качества данных после миграции (сравнение результатов, метрики);
Будет плюсом:
Опыт в системном анализе ETL;
Опыт TeamLead (управление командой) не менее 4 лет;
Умение переводить бизнес-требования в технические спецификации;
Опыт подготовки документации для пользователей и разработчиков;
Опыт создания ER-диаграмм, инструкций, тест-кейсов.

Задачи:
Миграция ETL-процессов с Informatica PowerCenter на целевой стек: NiFi + Airflow + Greenplum + SQL/хранимые процедуры.
Подготовка документации AS IS и TO BE;
Написание SQL кода;
Отслеживание метрик.

Локация специалиста: Россия

Формат работы: Удаленно

Допустимый часовой пояс: (MSK) Москва

❗️ Важно! При подаче кандидата укажите в сообщении:
• Дату готовности к выходу на проект.

📄 В самом резюме обязательно должны быть:
• ФИО, дата рождения, локация (страна и город);
• Грейд, ключевые компетенции и стек;
• Подробное описание роли, задач и применяемых технологий на каждом проекте.

Вопросы и CV направляйте:
#Data_Science_и_ML #Data_Engineer

Номер заявки: 30547

Роль специалиста:
Data Engineer
Уровень: Junior

Количество специалистов: 1

Требования к специалисту:
Опыт работы в роли
Data Engineer от 1.5 – 2 года;
Apache Spark: Опыт разработки распределенных приложений на Scala от 1.5 лет. Понимание архитектуры Spark (driver, executor, стадии, задачи, shuffling,
data locality). Уверенное владение DataFrames/Datasets API, Spark SQL. Опыт работы с форматами данных (Parquet, ORC, Avro, JSON, CSV), чтение/запись данных в HDFS, Hive и реляционные базы данных через JDBC. Практический опыт оптимизации: partitioning, repartition/coalesce, broadcast variables, accumulators, cache/persist. Умение анализировать и профилировать задачи через Spark UI и логи Yarn;
Язык Scala: Уверенное знание структур данных и коллекций (List, Seq, Map, Set), применение функций высшего порядка (map, flatMap, filter, foldLeft). Владение концепциями ООП и ФП на Scala: traits, case classes, tuples, pattern matching, обработка ошибок в функциональном стиле (Option, Either, Try). Опыт сборки проектов с помощью sbt или maven (включая плагины assembly / fat-jar), управление зависимостями;
Apache Airflow: Практический опыт разработки и документирования production DAG. Настройка расписания (schedule_interval, cron), атрибутов catchup, depends_on_past. Опыт использования SparkSubmitOperator, PythonOperator, BashOperator. Применение Airflow Variables, Connections, XCom, сенсоров и макросов, использование Trigger Rules;
Язык Python: Уверенное владение Python (PEP8, ООП, модули, virtualenv). Опыт написания модульных тестов (pytest, unittest). Практический опыт работы с Web-API (RESTful API, библиотеки requests/aiohttp, сериализация и парсинг JSON, обработка сетевых ошибок, таймаутов и повторных попыток);
SQL & Хранилища данных: Продвинутое владение SQL: сложные выборки и JOIN (inner, left, full, semi/anti), агрегатные и оконные функции (ROW_NUMBER, DENSE_RANK, LEAD, LAG), CTE, подзапросы. Опыт проектирования таблиц, понимание партиционирования, индексов и представлений (View / Materialized View). Понимание принципов работы с HDFS и Hive;
Linux & CI/CD: Базовые навыки работы в Linux/Bash (навигация, поиск по файлам, просмотр логов). Опыт работы с Git (ветки, merge requests), базовое понимание Docker

Задачи:
.

Локация специалиста: Россия

Формат работы: Удаленно

Допустимый часовой пояс: (MSK) Москва

❗️ Важно! При подаче кандидата укажите в сообщении:
• Дату готовности к выходу на проект.

📄 В самом резюме обязательно должны быть:
• ФИО, дата рождения, локация (страна и город);
• Грейд, ключевые компетенции и стек;
• Подробное описание роли, задач и применяемых технологий на каждом проекте.

Вопросы и CV направляйте:
#Data_Science_и_ML #Data_Engineer

Номер заявки: 31707

Роль специалиста:
Data Engineer
Уровень: Middle

Количество специалистов: 1

Требования к специалисту:
- Не менее 2 лет опыта в роли
data‑инженера;
- Уверенное владение Python: синтаксис, основы ООП, написание ETL‑скриптов с применением готовых библиотек, навыки отладки;
- Знание PySpark: работа с DataFrames API, понимание разницы между Action и Transformation, базовые представления об архитектуре Spark;
- Навыки работы с SQL: построение JOIN, использование агрегаций и оконных функций, базовое понимание работы индексов;
- Опыт в Airflow: настройка DAG, расписаний, операторов и сенсоров, работа с Connections и Variables, настройка ретраев и алертов;
- Владение dbt: создание моделей, источников, использование refs и Jinja, настройка материализаций, seeds и тестов;
- Работа с Git и GitLab CI: управление ветками, создание MR, участие в код‑ревью, чтение конфигураций .gitlab‑ci.yml;
- Базовые навыки в Docker: составление Dockerfile, локальная сборка и запуск контейнеров;
- Понимание различий между OLTP и OLAP, особенностей строковых и колоночных хранилищ, а также ключевых принципов
Data Vault 2.0;
- Опыт работы с СУБД: PostgreSQL, ClickHouse, Greenplum, Oracle, MySQL (понимание реляционной модели и принципов ACID), базовые знания NoSQL;
- Умение работать с инструментами мониторинга: чтение дашбордов в Grafana, Sentry, Kibana.

Дополнительные требования:
- Опыт в ритейле от 3 лет, навыки работы с Kubernetes и DataHub, знание дата‑контрактов.

Задачи:
- Создание и развитие ETL‑пайплайнов с использованием Python и PySpark;
- Поддержка и доработка DAG в Airflow: анализ логов, устранение типовых сбоев, выполнение backfill;
- Разработка dbt‑моделей, а также сопутствующих тестов и документации;
- Обслуживание сущностей
Data Vault 2.0 (в части Satellite);
- Взаимодействие с хранилищем S3 (через boto3) и работа с СУБД;
- Выполнение базовых проверок качества данных: контроль NULL‑значений, проверка уникальности ключей и корректности типов.;
- Фиксация технической метаданных в DataHub и отслеживание статуса пайплайнов в системах мониторинга.

Локация специалиста: Россия

Формат работы: Удаленно

Допустимый часовой пояс: (MSK) Москва

❗️ Важно! При подаче кандидата укажите в сообщении:
• Дату готовности к выходу на проект.

📄 В самом резюме обязательно должны быть:
• ФИО, дата рождения, локация (страна и город);
• Грейд, ключевые компетенции и стек;
• Подробное описание роли, задач и применяемых технологий на каждом проекте.

Вопросы и CV направляйте: