АУТСТАФФИНГ “DstLab”💵
1.54K subscribers
18 photos
15 files
329 links
Большое количество проектов для разработчиков.

От Вас до клиента - ОДИН ШАГ🔝

Отлики на вакансии обращаться:
Владу @okabirorin

Партнерское сотрудничество:
Виолетта @ju_vetta
Download Telegram
#вакансия #data_аналитик

data_аналитик

Локация/Гражданство: любая
Часовой пояс: Мск
Кол-во человек: 1
Грейд: Middle / Middle + / Senior
Загрузка: fulltime

Срок проекта: долгосрочно
Старт проекта: ASAP
О проекте: Мы ищем дата-аналитика в команду управления опытом партнера Лемана ПРО. Миссия команды: Мы стремимся развивать уникальный опыт и возможности нашего 4Р партнера для обеспечения долгосрочного сотрудничества и развития бизнеса с ЛЕМАНА ПРО.

📌 Задачи:
·      Генерация продуктовых гипотез и их проверка
·      Анализ метрик, интерпретация и представление результатов
·      Оцифровка потенциальных изменений бизнес-процессов
·      Создание и совершенствование, совместно с бизнес-командой, перечня основных операционных показателей и методологии их расчета

💻 Требования:
·      Высшее техническое образование
·      Уверенное знание python (библиотеки pandas, numpy, matplotlib, seaborn и др.)
·      Уверенное знание SQL
·       Опыт работы с реляционными БД (_хотя если у вас mongo – тут нужно про это дописать_)
·       Понимание основных принципов и подходов к анализу данных
·       Опыт работы с большими данными
·       Умение интерпретировать полученные данные

➕ Будет плюсом:
·       Опыт работы с Power BI
·       Опыт работы с оконными функциями
·       Опыт работы с docker, git, airflow, nifi, kafka
#вакансия #Data

Data инженер/Аналитик

Локация и Гражданство: РФ
Грейд: Middle+
срок проекта: 6+ месяцев

стек:
Hadoop, GreenPlum, S3;
Airflow, Spark, Kafka, Debezium;
ClickHouse, Superset;

Задачи:
Анализ имеющегося функционала хранилища данных для целей миграции бизнес-процессов;
Анализ новых требований от заказчиков по задачам развития отчетности;
Реализация изменений и тестирование на стороне DWH;
Взаимодействие с внутренними заказчиками, системными аналитиками-экспертами других подразделений;
Написание технических задач для развития детального и витринного уровней DWH;
Анализ и контроль качества загрузки данных в DWH
Описание логической и физической модели DWH и сопровождение документации в части хранилища данных;

Опыт:
Высшее образование (техническая специализация будет плюсом);
Опыт работы с хранилищами данных;
Понимание жизненного цикла разработки программного обеспечения;

Дополнительно:
Понимание процессов взаимодействия с БКИ
Понимание процессов и отчетности бэк-офиса
Понимание процессов и отчетности риск-подразделения
Понимание процессов и отчетности розничного бизнеса
#вакансия #data_scientist

Data Scientist Senior в БКС

Требования:

Необходимо, чтобы специалисты обязательно имели следующий опыт:
1. Промышленный опытом создания нейросетевых моделей для анализа звука на борту телефонов и в браузере с примерами проектов.
2. Подтвержденный опыт конвертации моделей в формат, требуемый различными мобильными платформами (TFLite или onnx под Android, CoreML под iOS).
3. Подтвержденная экспертиза в разработке нативного кода для Android и iOS (kotlin и swift соответственно) для предобработки звука перед передачей его в нейронные сети и работы с нейронов сетью (в iOS предпочтительно использовать векторные вычисления через фреймворк accelerate).
Требования к специалисту:

Senior Critical Skills:
1. Управление скоупом задач
2. Управление изменениями: - коррекция входных требований и ресурсов - информирование заказчика
3. Лидирование сложных переговоров в составе группы: - подготовка переговорной позиции - формирование стратегии Умение продавать: - решение - дэшборд - методологию
4. Подготовка данных на основе большого количества источников
5. Реализация дорожной карты совместно с заказчиком под ключ
6. Python на высоком уровне (понимание механизмов работы с памятью, многопоточность)
7. Техники параллелизации обработки датафреймов
8. pyTorch/TensorFlow - глубокое понимание фреймфорка, мат. аппарата моделей
9. Умение выстраивать сложные микросервисные связки на Docker
10. Глубокое понимание принципов написания микросервисов на Flask
11. Создание системы документации (описание процесса) на сложную информационную систему на ресурсах типа Atlassian Confluence, Atlassian BitBucket, GitHub и т. д.
12. Оборачивание SQL-скрипта, например, в переменные
13. Все что в middle

Senior Other Skills:
1. Проведение Meet-up на уровне ФГ БКС
2. Участие в роли спикера на конференциях
3. Применение эмоционального интеллекта, владение техники манипуляций для ведения переговоров
4. Умение обучать сетки на кастомных данных (pre-training from scratch / domain-based)
5. Pyro - понимание преимуществ и недостатков байесовского подхода к ML, умение адаптировать сети pyTorch под Pyro
6. Способность реализовать сложные системы анализа и мониторинга моделей ML и данных
7. BERT - дообучение, понимание принципов построения модели
8. HTML %20 CSS %20 JS / React — basic level
9. Найм специалистов ниже уровнем

Локация: Только РФ 🌐
#вакансия #data_engineer

Data Engineer Middle+ в банк
❗️Гражданство РФ, локация МСК и СПБ, привлечение долгосрочный

Задачи:
* Заниматься проектированием и разработкой витрин данных для анализа и моделирования
* Заниматься мониторингом и оптимизацией процессов сборки витрин
* Заниматься загрузкой и обработкой данных из различных источников
* Заниматься поддержкой и развитием базы знаний
* Предоставлять экспертную поддержку внутренним потребителям(data analysts,data scientists)

Требования:
- Знание SQL
- Хорошее знание устройства Hadoop,Spark,Hive/Impala
- Опыт разработки на Python/Scala/Java
- Понимание основных концепций DWH
- Понимание базовых команд Git и основных приципов работы

Будет плюсом:
- Опыт работы с банковскими данными
- Опыт работы с различными СУБД в роли разработчика/аналитика витрин данных
- Опыт работы с Airflow
#вакансия #data_engineer

Middle, Middle+, Senior Data инженер

Локация: Россия 🌍

О проекте:
Разработка витрин данных (Data Vault)
Гражданство: любое, но нужен будет номер РФ (+7)
Срок проекта: до конца года с пролонгацией
Старт проекта: АСАП

📌 Задачи:
Разработка программного кода новых и доработка существующих компонентов аналитического хранилища данных;
Разработка правил и практик работы с кодом, описание их в базе знаний;
Разработка и описание механизмов публикации кода и релизов;
Оптимизация запросов и структур баз данных;
Оперативное реагирование на информацию о проблемах в зоне ответственности, выполнение задач в установленный срок;
Проведение код-ревью

Требования:
Общий опыт работы не менее З лет;
Опыт работы с ELT-процессами;
Опыт работы с системами контроля версий (git, Gitlab, Bitbucket);
Опыт работы с распределёнными базами данных - Hadoop, Greenplum;
Знание SQL (ANSI, PL/SQL), опыт оптимизации запросов.
Опыт использования системами ведения документации.
#вакансия #data_engineer

Senior Data Engineer

Проект: ИТ-компания
Описание проекта: В ИТ-компанию требуется Devops / data-инженер с опытом работы и специализацией в yandex.cloud.

Вместе с командой аналитиков предстоит проектировать и выстраивать архитектуру хранения и подготовки данных в Яндекс.Облаке.

Опыт: от 4 лет
Локация: Любая
Срок проекта: До конца года с возможным продлением
Рейт: до 2000₽

Задачи:

Объединение и хранение данных из различных источников:
- Стриминги сырых данных сайта и приложения (ClickHouse)
- Хранение данных из внешних систем (CRM, рекламные системы.

Требования:

- Devops / data-инженер с опытом работы и специализацией в yandex.cloud (обязательно);
- ClickHouse, Greenplum;
- Yandex Object Storage;
- Использование холодного хранилища для редко используемых данных;
- ETL-процессы (AirFlow, dbt).
#вакансия #data_инженер

Senior Data инженер

Локация: Любая

О проекте:
внутренний проект партнеров. Срок проекта - 3+ мес.

Требования:
- Экспертный уровень знания python на уровне upper senior
- Опыт работы с Apache Spark от 2 лет
- Понимание под «капотом» как работает Spark
- Опыт работы от 3 лет Postgres (наличие опыта с оптимизационными и инфраструктурами проблемами)
- Опыт работы от 2 лет Clickhouse (наличие опыта с оптимизационными и инфраструктурами проблемами,понимание внутреннего устройства clickhouse -как работает, как реплицирует,какие есть основные движки и прочее.
- Опыт работы как пользователь с k8s 1-2 года
- Отличные софт скиллы
- Опыт работы с легаси кодом
- Понимание процессов ci/cd
- Опыт с pytest (желательно иметь в копилке TDD опыт)
- Опыт работы с cloud инфраструктурой (Yandex,aws и тд) от 3 лет
#вакансия #data_engineer

Data Engineer в команду интеграции

Функции:

- интеграция с внешними и внутренними источниками;
- построение ETL пайплайнов;
- проверка качества данных;
- регистрация происхождения данных;
- настройка систем мониторинга;
- поддержка систем интерграции;
- написание, параметризация и профилизация - запросов к СУБД;
- написание библиотек и сервисов интеграции;

Ожидания:

- опыт работы с Apache Airflow;
- опыт работы с pySpark;
- знание SQL;
- опыт работы с OLAP СУБД;
- понимание принципов и основных методов - построения архитектуры хранилищ данных;
- опыт работы в Linux (командная строка);
- опыт работы с Docker или Kubernetes; опыт работы с Apache Nifi;
- опыт работы с Apache Кака;
- опыт работы с OLTP СУБД;
- опыт работы с Git; |
- понимание принципов и основных методов построения архитектуры платформ данных;
- понимание подходов к обработке данных;

Будет плюсом:

- знание Python;
- знание JAVA;
- опыт работы с Apache Spark;
- опыт написания коннекторов Kafka Connect;
- опыт написания процессоров Nifi;
- опыт построения CI/CD пайплайнов в GitLab;

Наш технологический стек:

Текущий:
Gitlab;
Kubernetes;
Apache Spark;
Apache Nifi;
Apache Kafka;
Prometheus;
Grafana;
OpenMetadata;
Ceph

В планах:
Apache Flink
#вакансия #data_инженер

Data инженер

Ставка 1800
Грейд: Middle, Senior
Формат работы: удаленно
Локация: РФ

Обязательные требования

Релеватный опыт работы от 3-х лет;
Опыт работы с Oracle, Teradata, Grafana;
Хорошее знание SQL;
Хорошее знание Python + Spark;
Опыт работы с распределенными системами обработки данных (Hadoop, Airflow, Hive).

Задачи на проекте

Продуктивизация сборки витрин и создание интеграций с источниками по разработанным концепциям архитектуры;
Разработка прототипа моделей, подготовка данных для препроцессинга, загрузка данных из источников;
Разработка кода загрузок и трансформации данных для RAW, DDS и CDM, продуктивизация и постановка на регламент согласно внутренним процессам.

Описание проекта и команды

Проект Data House для крупной телекоммуникационной компании.

Data House - продукт, который занимается интеграцией данных продуктовых индустрий и их централизованным хранением согласно модели

Data Vault. Это позволяет развивать экосистемную аналитику за счет расширения клиентского профиля, что способствует улучшению качества взаимодействия с пользователем компании.

Продукт предоставляет доступ к данным в виде витрин с различной детализацией, что позволяет проводить с ними аналитическую работу.
#вакансия #data_engineer

 Data Engineer (Senior)

О кандидате:
Стек: языки программирования, фрэймворки, системы управления базами данных, и т.д.
Грейд: Senior
Локация специалиста:РФ, РБ
Тайм-зона проекта: мск

О проекте:
Описание проекта:* Российская сеть розничных магазинов.
Дата старта проекта: месяц
Продолжительность проекта (от 3х месяцев):3 месяца с возможностью продления

Тип занятости: удалёнка
Ставка закупки: до 2200 с НДС
Загрузка: фулл-тайм

Требования:
●опыт перехода на Kubernetes
●Apache (Spark, Hive, Airflow) 
●Yandex Cloud 
●Python 
●SQL 
●Linux 
●Docker 
●Streaming
#вакансия #data_scientist

Data Scientist Middle

Гражданство: РФ, РБ
Локация: любая
Ставка: до 2000 (включая НДС)

Описание проекта:
Компания разрабатывает продукты, повышающие лояльность покупателей и удобство бизнеса. Отвечают за автоматизацию большинства процессов в компании от бронирования помещений до сложного расчета цен и эквайринговых операций.

Обязательные требования
- Коммерческий опыт работы с рекомендательными системами;
- Опыт работы с ПРОМО ТОВАРАМИ в рекомендательных системах;
- Глубокое понимание RecSys алгоритмов (как базовых, так и DL);
- Знание алгоритмов и метрик для решения задачи ранжирования;
выбор метрик и их обоснование;
- Опыт работы с PyTorch;
- Практическое применение различных моделей бустинга.

Стек технологий:
- ML (Scikit-learn / LightGBM / CatBoost);
- EDA (Pandas / NumPy / SciPy / Plotly);
- RecSys (Implicit / LightFM / SVD / DL models);
- знание технологий из стека: Docker, kubernetes.

Дополнительные требования
- Разработка рекомендательных систем для ритейла;
- Опыт работы с большими данными;
- Практическое использование сервисов YandexCloud или других облачных сервисов;
- Опыт работы с API (flask, fastapi);
- Опыт прогнозирования оптимальной скидки;
- Применение LLM для решения бизнес-задач.

Задачи на проекте
- Разработка рекомендательных систем для ритейла;
- Построение решения для задачи рекомендации промо-товаров и подбору оптимальной скидки;
- Проведение экспериментов в рамках других задач клиентской аналитики;
- Анализ и визуализация данных, выявление закономерности, предоставление результатов;
- Вывод разработанных решений в прод (есть возможность прокачать MLOps).
#вакансия #data_engineer

Data Engineer Senior в айти компанию
❗️Гражданство и локация РФ/РБ, срок привлечения 3 мес., возможно продление

быть готовым предоставить информацию о юридических лицах, в которых работал кандидат

⚡️Резюме в ворде с полным ФИО, пожалуйста. Проверьте требования вакансии и наличие опыта в резюме. Для НЧ необходима: полное ФИО, личная почта специалиста, номер телефона, дата рождения
Ставка 1800

Описание проекта: Российская сеть розничных магазинов.

Задачи:

* Миграция из Managed Service в собственные Kubernetes
* Разработка модулей и скриптов данных для пилота
* Разработка скриптов для повышения качества данных
* Разработка CI/CD конвейеров. 1 DevOps/1 DE
* Разработка модулей для Alluxio. 0,5 DevOps
* I&D. Разработка модулей для поддержки промышленной системы. 0,5 DevOps
* Разработка модулей межсервисного шифрования. 0,5 DevOps
* Разработка общего метахранилища. 0,5 DevOps
* I&D. Разработка мониторинга сервисов и инфраструктуры. 0,5 DevOps

Требования:
- Опыт работы от 6 лет
- Apache (Spark, Hive, Airflow)
- Yandex Cloud
- Python
- SQL
- Linux
- Docker
- Streaming
#вакансия #data_scientist

Data Scientist

Проект: Вкусно и точка
Длительность проекта: 6+ мес
Грейд: Middle+/Senior
Локация: Любая
Ставка: 1700 (включая НДС)
Оплата: 50 к.д.

Специалисты: разработчики систем интеллектуального анализа

Задачи:
• выполнение работ с данными (очистка данных, исследование, feature engineering);
• выдвижение и проверка гипотез;
• разработка прогнозных моделей машинного обучения на основе табличных данных;
• разработка систем искусственного интеллекта для задач категоризации текстовых объектов данных;
• разработка систем видеоанализа;
• проведение экспериментов, подбор метрик, валидация моделей и мониторинг их качества;
• дизайн и проведение A\B тестов;
• тестирование ПО;
• разработка документации на разработанное ПО.
#вакансия #data_engineer

Data Engineer, Middle+/Senior

Локация: РФ
Гражданство: РФ
Проект: Тбанк
Закрытие ежемесячное, оплата ориентировочно 45-60 рабочих дней
Рейт: до 2000 руб. час (по результатам собеседования будет обсуждаться итоговая ставка)

Требования:
— Умение работать с данными (SQL);
— Знание принципов построения DWH и стандартов архитектуры;
— Знание архитектуры Greenplum, Hadoop и Clickhouse, умение оптимизировать запросы в этих системах;
— Умение работать с ETL инструментами Apache Airflow, Apache NiFi, Apache Flink;
— Аналитическое мышление;
— Системный подход.

❗️ВАЖНО:
1.Не рассматриваем кандидатов, которых показывали в течении 1 года в банк Тинькофф
2. Локация - только РФ.

Направлять резюме со следующей информацией:
1. Оценка по требованиям
2. ФИО кандидата
3. Локация, гражданство
4. Эл. почта (не корпоративная)
5. Рассматривался ли специалист в течение года в банк Тинькофф
#вакансия #data_scientist

Data Scientist на проект в крупный ритейл

Грейд: Middle+
Локация: Не имеет значения
Срок привлечения: до конца года + возможна пролонгация
Cфера: Ритейл
Ставка: до1600 р/ч ( с учетом ндс)
Оплата: ежемесячная отсрочка платежа

Требования :
- Профильное образование / наличие сертификатов по специализациям анализа данных и машинного обучения
- Опыт работы в области data science от 4 лет;
- Владение Python (PEP 8);
- Знание стандартных алгоритмов и структур данных;
- Хорошее владение библиотеками для анализа данных, численных методов;
- Умение писать оптимальный по времени и памяти код;
- Свободное владение ООП;
- Работа с данными: SQL на базовом уровне (join, group by);
- Опыт работы с реляционными БД;
- Опыт работы на PySpark (broadcast join и тд, Spark UI);
- Имеет недоверие к данным, проверяет их на корректность перед использованием;
- Знаком с базовой теорией вероятности и статистикой;
- Знаком с понятиями АБ-тестирования и проверкой гипотез;
- Может решать простые задачи по теории вероятности, статистике, логике;
- Знание классических методов ML;
- Знание полного цикла проведения АБ теста;
- Продвинутое владение аппаратом проверки гипотез: - множественная проверка гипотез - параметрические/непараметрические методы - бутстреп;
- Изучение и имплементация продвинутых моделей ML: - байесовские модели/PGM/VBI, RL и прочее;
- Работа с хорошо описанными задачами;
- Построение аналитические отчётов с заданными требованиями;
- Презентация аналитических изысканий, проверенных гипотез и тд;
- Погружение в метрики продукта: - понимание основных метрик продукта и их особенностей - перевод бизнес задач в DS/DA/DE и декомпозиция комплексных бизнес-задач - построение прокси-метрик продукта;

Задачи (Обязанности) :
- Выбор и построение подходящих математических моделей для решения поставленных задач.
- Декомпозиция поставленных задач, определение пути решения, установка сроков решения.
- Проверка гипотез на основе статистических методов.
- Обсуждение выбранных решений с бизнес-заказчиком.
- Написание оптимальных SQL/SPARK-запросов, укладывающихся в SLA.
- Написание переиспользуемого продуктивного кода SQL/Python (а также его оптимизация).
- Использование или создание простых аналитических сервисов (MVP).
- Сode-review.
- Постановка процессов на регулярную основу.
- Настройка мониторинга качества регулярных процессов продукта.
- Участие в формировании ТЗ.
- Менторинг Junior.
#вакансия #data_аналитик

Data Analyst Senior

Локация: РФ и Беларусь
Опыт работы: Более 3 лет
Формат работы: Удалённое подключение через RDP

О проекте:
Описание проекта: Направление: подготовка актуарной отчетности
Конечный заказчик: Абсолют
Дата старта проекта: ASAP
Продолжительность проекта: от 3мес

Оформление:
Тип занятости: удалёнка
Ставка закупки: ваша в рынке
Загрузка: фулл-тайм
Условия оплаты: отсрочка 40 рабочих дней

📌 Задачи:
1. Финансовая и регуляторная отчетность:
- Подготовка агрегированных данных для актуарных отчетов. Разработка журналов учета договоров на СУБД MS SQL.
- Настройка автоматического сбора и хранения данных по договорам, премиям и комиссиям. Автоматизация ежемесячной отчетности.
- Формирование выгрузок для регуляторных органов.
- Реализация AD HOC задач по направлению.

2. BI и аналитика:
- Построение моделей и аналитических отчетов в Excel (сводные таблицы, Power Pivot, Power Query)

Будет преимуществом:
- Возможная интеграция с MSAS для продвинутых моделей.
- (Будет преимуществом) Построение дашбордов и отчетов в Power BI для финансового департамента.

3. Работа с требованиями
- Сбор и уточнение требований от коллег финансового департамента.
- Документирование правил учета и расчетов.
- Построение roadmap внедрения аналитического решения.

💻 Требования:

1. Финансовый и страховой учет
- Опыт работы в страховых кампаниях. Работа в non life страховых кампаниях.
- Знание понятий формирования страхового договора (карточка учета договора): убытки, перестрахование (хотя бы один из блоков).
- Свободное оперирование терминами «КВ», «СП», «СС», «ДЗ», «КЗ»
- Практический опыт работы и понимание стандартов учета (финансовый, управленческий, регуляторный).
- Знание нормативной документации ЦБ РФ (781 – П, 6815-У, 718-П), стандарты МСФО 17, МСФО 39.
- (Будет преимуществом) Опыт работы с АИС- Страхование, КИАС, или аналоги

2. Технические компетенции
- MS SQL: уверенное владение (создание оптимальных запросов, проектирование таблиц/витрин).
- Участие в, построении архитектуры хранилища/витрин для финансовых и учетных данных.
- Excel (продвинутый уровень): сводные таблицы, Power Pivot, Power Query, работа с большими выгрузками.
- Понимание ETL / ELT -процессов
- Базовое понимание работы с Jira и Confluence (ведение задач, документация).
- (Будет преимуществом) опыт работы с MSAS (Tabular): построение моделей для финансовой аналитики.
- (Будет преимуществом) Power BI: опыт создания дашбордов, DAX, Power Query.

3. Бизнес-анализ
- Опыт взаимодействия с финансовыми и актуарными подразделениями.
- Умение работать с нечеткими требованиями.
- Умение перевода бизнес-логики учета в технические модели данных.
- Опыт документирования процессов.

4. Soft Skills
- Готовность работать с «трудным» заказчиком.
- Способность разбираться в сложной терминологии и задавать правильные вопросы.
- Самостоятельность в принятии решений по структуре данных.
- Умение выстраивать коммуникацию между бизнесом и IT.

Писать: @ju_vetta
#вакансия #data_engineer

Data инженер_Senior

Грейд: Middle/Senior
Локация специалиста: Строго РФ
Тайм-зона проекта: мск
Гражданство: Строго РФ

О проекте:
Название конечного клиента или отрасль: Райффайзен
Дата старта проекта: конец августа - начало сентября
Продолжительность проекта (от 3х месяцев): середина 26 года, но возможна пролонгация до конца 27 года.

Оформление:
Тип занятости: удалёнка
Ставка закупки: 2200
Загрузка: фулл-тайм
Условия оплаты: отсрочка 40 рабочих дней

Обязательные данные по кандидату при подаче:
● ФИ
● Страна+Город
● Грейд
● Ставка
● Оценить требования ДА/НЕТ, в соответствии с наличием опыта.
● ВСЕ ТРЕБОВАНИЯ ИЗ ЗАПРОСА ОТРАЖЕНЫ В ПРОЕКТАХ РЕЗЮМЕ

Задачи:
- Мигрировать процессы для отчетности и аналитики и настраивать их регламентную загрузку;
- Работать с общебанковской data-платформой (data lake, dwh, streaming, etc.);
- Разрабатывать end-to-end пайплайны по сбору и обработке данных: выбирать оптимальный формат, структуру хранения и архитектуру интеграционных решений;
- Анализировать и оптимизировать производительность пайплайнов, инструментов и дата-сервисов;
- Развивать архитектуру данных и внедрять новые технологические решения и сервисы;
- Управлять обновлениями, настройками, устранять выявленные уязвимости, восстанавливать сервисы после сбоев, обрабатывать инциденты;
- Настраивать и поддерживать процессы и инструменты интеграции Near-Real Time платформы с системами-источниками и потребителями данных.

Требования:

Обязательные требования:
- Владение SQL на уровне оптимизированных сложных запросов;
- Понимание принципов функционирования традиционных СУБД и баз данных класса MPP;
- Опыт программирования на языках Python и/или Java, Scala;
- Опыт оркестрации ETL-пайплайнов с помощью Airflow;
- Наличие опыта взаимодействия с инструментом dbt;
- Умение работать с технологиями экосистемы Hadoop (HDFS, YARN, HIVE, Sqoop);
- Владение технологией Apache Spark (Spark DataFrames, Spark SQL);
- Опыт работы с банковской предметной областью.
- Опыт работы с Kafka, Trino;
- Опыт работы с контейнерными технологиями и оркестрацией: kubernetes, helm;
- Знания и опыт CI/CD-практик и инструментов.

Текущий основной стек:

Python, Trino, dbt, Airflow, Spark, Hadoop, Hive, Postgres, Greenplum, Kubernetes, Gitlab.

Писать: @ju_vetta
#вакансия #data_engineer

Data инженер Senior

Срок привлечения: 3 мес. (с возможностью продления)
Локация: любая
Ставка: до 2200, с НДС

Обязательные требования
- Релевантный опыт от 3-х лет;
- Владение одним из языков программирования (Java/Groovy), знание принципов ООП, умение читать чужой код;
- Сборка проекта, компиляция и деплой в Rancher (Docker);
- Опыт проектирования, реализации, развития и поддержки интеграционных решений на стеке технологий BigData;
- Знание SQL (индексы, функции, умение читать планы запросов, оптимизация запросов);
- Опыт работы с Trino, Airflow, S3;
- Опыт работы с любой реляционной БД (Oracle, Postgres, MySQL, MsSQL, DB2 и т.п.);
- Умение работать с Git в консоли;
- Знания специфики работы ETL инструментов (Apache Nifi, Airflow, интеграционные шины SAP BW, Talend, Informatica, SAS и т.п.);
- Опыт работы с Hadoop;
- Понимание устройства HDFS, форматов данных;
- Опыт работы с Hive или любым другим хранилищем на основе Hadoop;
- Опыт использования систем ведения проектов и документации.;
-Умение работы с архитектурными схемами;
- Понимание принципов построения и хранения данных - DWH и DataLake;
- Необходимо подписание NDA;

Дополнительные требования
- Опыт администрирования Unix/Linux или Hadoop (HDFS , Yarn, Ranger, Spark, Zookeeper), Zabbix, Ansible.

Задачи на проекте
- Самостоятельная разработка, реализация и поддержка интеграционных решений, на стеке технологий, принятых в команде (Java, Groovy, Apache Nifi, Airflow);
- Определение стека технологий для конкретных проектов и задач;
- Решать технически сложные задачи, которые другие инженеры в команде не в состоянии решить;
- Оперативное реагирование на информацию о проблемах в зоне ответственности, выполнение задач в установленный срок;
- Разработка и контроль актуальности документации взаимодействия конфигурационных единиц платформы больших данных;
- Предоставление отчетности о своей деятельности начальнику отдела/руководителю в порядке, установленном руководством;
- Контроль за качеством интеграционных решений, с последующим заведением задач/дефектов на рефакторинг;
- Определять технологическую стратегию развития проекта или продукта, работать на перспективу;
- Выстраивать процессы (например, CI/CD, код ревью), внедрять и развивать инженерные практики.

Описание проекта и команды
Крупная ритейл компания.

Писать: @ju_vetta
#вакансия #data_engineer

Data Engineer Senior

Проект: х5
Длительность проекта: 3-6 мес.
Локация: Любая
Ставка: 2000, с НДС

Обязанности
• Разработка низкоуровневой архитектуры систем больших данных, на основании информации полученной от аналитиков и архитекторов.
• Разработка документа, описывающего низкоуровневую архитектуру разрабатываемых систем больших данных.
• Разработка, программного кода систем больших данных
• Подготовка документации, описывающей алгоритмы разработанных систем больших данных
• Разработка Unit Тестов для программного кода систем больших данных
• Подготовка и сборка установочных пакетов, для установки разработанных решений на промышленную среду.
• Проведение плановых работ по оптимизации программного кода разработанных систем больших данных
• Исправление дефектов в разработанных приложениях
• Подготовка и выпуск пакетов обновлений, включающих в себя исправление дефектов и оптимизацию программного кода систем больших данных

Ключевые компетенции
Git
Linux
PostgreSQL
Docker
Kubernetes
CI/CD
k8S
Greenplum
Shell
ETL
Gitlab
code review
spark
Unit-tests
Hadoop/Hive
BigData
python 3.5+
Flake8
PyTest

Требования
от 3 лет коммерческой разработки
от 2 лет - разработка систем, которые вышли в промышленную эксплуатацию от 2 лет BigData
Глубокие теоретические знания стека технологий и практический опыт.
Умение давать и принимать обратную связь
Опыт работы с бизнес требованиям (сбор, формирование требований, анализ), опыт работы в условиях постоянно меняющихся требований
Опыт написания программ распределенных вычислений (Spark) и ETL процессов
Опыт проведения Code Review
Опыт/понимание разработки и проектирования архитектуры БД, создание и манипуляции с БД
Опыт оптимизации запросов
Понимание процессов CI/CD
Опыт оптимизации запросов
Опыт написания unit тестов Python 3.5+ Spark 2.2+ Hadoop Hive Airflow Kubernetes (K8S) SQLAlchemy, PostgresQL, Greenplum PyTest / Unittest Flake8 / PyLint Black Docker Git, GitLab, CI / CD, разрешение конфликтов Shell, Linux

Писать: @ju_vetta
#вакансия #data_engineer

Дата инженер Senior в телеком (платформа объявлений)


Локация и гражданство РФ, срок проекта 3-6 мес., зависит от скорости закрытия задач, также возможно продление

ВАЖНО: работать можно только на СВОЁМ Макбуке М2/М3 не ниже (у специалиста наличие, либо вы предоставляете самостоятельно). По оперативе не меньше 24 / 36Гб. На макбук нужно будет установить программу для безопасности MDM (mobile device management). ЕСЛИ всё это ОК - берем резюме.

Ставка 2000
, с НДС
Отсрочка 60 к.д.

В рамках одного из внутренних технических проектов компании нам требуется аутсорс дата-инженеров для выполнения ряда задач:

• разработка/оптимизация витрин данных в Корпоративном хранилище данных
• миграция SQL-кода витрин между диалектами Vertica и Trino
• сверка данных между витринами в разных КХД, анализ алгоритмов и поиск причин расхождения

Требования к дата-инженерам:
• отличное знание SQL
• хорошее понимание архитектур и методологий проектирования Корпоративных хранилищ данных
• опыт проектирования витрин данных
• навыки сбора требований и общения с пользователями

Писать: @ju_vetta