#вакансия #data_engineer
Data Engineer Middle+ в банк
❗️Гражданство РФ, локация МСК и СПБ, привлечение долгосрочный
Задачи:
* Заниматься проектированием и разработкой витрин данных для анализа и моделирования
* Заниматься мониторингом и оптимизацией процессов сборки витрин
* Заниматься загрузкой и обработкой данных из различных источников
* Заниматься поддержкой и развитием базы знаний
* Предоставлять экспертную поддержку внутренним потребителям(data analysts,data scientists)
Требования:
- Знание SQL
- Хорошее знание устройства Hadoop,Spark,Hive/Impala
- Опыт разработки на Python/Scala/Java
- Понимание основных концепций DWH
- Понимание базовых команд Git и основных приципов работы
Будет плюсом:
- Опыт работы с банковскими данными
- Опыт работы с различными СУБД в роли разработчика/аналитика витрин данных
- Опыт работы с Airflow
Data Engineer Middle+ в банк
❗️Гражданство РФ, локация МСК и СПБ, привлечение долгосрочный
Задачи:
* Заниматься проектированием и разработкой витрин данных для анализа и моделирования
* Заниматься мониторингом и оптимизацией процессов сборки витрин
* Заниматься загрузкой и обработкой данных из различных источников
* Заниматься поддержкой и развитием базы знаний
* Предоставлять экспертную поддержку внутренним потребителям(data analysts,data scientists)
Требования:
- Знание SQL
- Хорошее знание устройства Hadoop,Spark,Hive/Impala
- Опыт разработки на Python/Scala/Java
- Понимание основных концепций DWH
- Понимание базовых команд Git и основных приципов работы
Будет плюсом:
- Опыт работы с банковскими данными
- Опыт работы с различными СУБД в роли разработчика/аналитика витрин данных
- Опыт работы с Airflow
#вакансия #data_engineer
Middle, Middle+, Senior Data инженер
Локация: Россия 🌍
О проекте:
Разработка витрин данных (Data Vault)
Гражданство: любое, но нужен будет номер РФ (+7)
Срок проекта: до конца года с пролонгацией
Старт проекта: АСАП
📌 Задачи:
Разработка программного кода новых и доработка существующих компонентов аналитического хранилища данных;
Разработка правил и практик работы с кодом, описание их в базе знаний;
Разработка и описание механизмов публикации кода и релизов;
Оптимизация запросов и структур баз данных;
Оперативное реагирование на информацию о проблемах в зоне ответственности, выполнение задач в установленный срок;
Проведение код-ревью
Требования:
Общий опыт работы не менее З лет;
Опыт работы с ELT-процессами;
Опыт работы с системами контроля версий (git, Gitlab, Bitbucket);
Опыт работы с распределёнными базами данных - Hadoop, Greenplum;
Знание SQL (ANSI, PL/SQL), опыт оптимизации запросов.
Опыт использования системами ведения документации.
Middle, Middle+, Senior Data инженер
Локация: Россия 🌍
О проекте:
Разработка витрин данных (Data Vault)
Гражданство: любое, но нужен будет номер РФ (+7)
Срок проекта: до конца года с пролонгацией
Старт проекта: АСАП
📌 Задачи:
Разработка программного кода новых и доработка существующих компонентов аналитического хранилища данных;
Разработка правил и практик работы с кодом, описание их в базе знаний;
Разработка и описание механизмов публикации кода и релизов;
Оптимизация запросов и структур баз данных;
Оперативное реагирование на информацию о проблемах в зоне ответственности, выполнение задач в установленный срок;
Проведение код-ревью
Требования:
Общий опыт работы не менее З лет;
Опыт работы с ELT-процессами;
Опыт работы с системами контроля версий (git, Gitlab, Bitbucket);
Опыт работы с распределёнными базами данных - Hadoop, Greenplum;
Знание SQL (ANSI, PL/SQL), опыт оптимизации запросов.
Опыт использования системами ведения документации.
#вакансия #data_engineer
Senior Data Engineer
Проект: ИТ-компания
Описание проекта: В ИТ-компанию требуется Devops / data-инженер с опытом работы и специализацией в yandex.cloud.
Вместе с командой аналитиков предстоит проектировать и выстраивать архитектуру хранения и подготовки данных в Яндекс.Облаке.
Опыт: от 4 лет
Локация: Любая
Срок проекта: До конца года с возможным продлением
Рейт: до 2000₽
Задачи:
Объединение и хранение данных из различных источников:
- Стриминги сырых данных сайта и приложения (ClickHouse)
- Хранение данных из внешних систем (CRM, рекламные системы.
Требования:
- Devops / data-инженер с опытом работы и специализацией в yandex.cloud (обязательно);
- ClickHouse, Greenplum;
- Yandex Object Storage;
- Использование холодного хранилища для редко используемых данных;
- ETL-процессы (AirFlow, dbt).
Senior Data Engineer
Проект: ИТ-компания
Описание проекта: В ИТ-компанию требуется Devops / data-инженер с опытом работы и специализацией в yandex.cloud.
Вместе с командой аналитиков предстоит проектировать и выстраивать архитектуру хранения и подготовки данных в Яндекс.Облаке.
Опыт: от 4 лет
Локация: Любая
Срок проекта: До конца года с возможным продлением
Рейт: до 2000₽
Задачи:
Объединение и хранение данных из различных источников:
- Стриминги сырых данных сайта и приложения (ClickHouse)
- Хранение данных из внешних систем (CRM, рекламные системы.
Требования:
- Devops / data-инженер с опытом работы и специализацией в yandex.cloud (обязательно);
- ClickHouse, Greenplum;
- Yandex Object Storage;
- Использование холодного хранилища для редко используемых данных;
- ETL-процессы (AirFlow, dbt).
#вакансия #data_engineer
Data Engineer в команду интеграции
Функции:
- интеграция с внешними и внутренними источниками;
- построение ETL пайплайнов;
- проверка качества данных;
- регистрация происхождения данных;
- настройка систем мониторинга;
- поддержка систем интерграции;
- написание, параметризация и профилизация - запросов к СУБД;
- написание библиотек и сервисов интеграции;
Ожидания:
- опыт работы с Apache Airflow;
- опыт работы с pySpark;
- знание SQL;
- опыт работы с OLAP СУБД;
- понимание принципов и основных методов - построения архитектуры хранилищ данных;
- опыт работы в Linux (командная строка);
- опыт работы с Docker или Kubernetes; опыт работы с Apache Nifi;
- опыт работы с Apache Кака;
- опыт работы с OLTP СУБД;
- опыт работы с Git; |
- понимание принципов и основных методов построения архитектуры платформ данных;
- понимание подходов к обработке данных;
Будет плюсом:
- знание Python;
- знание JAVA;
- опыт работы с Apache Spark;
- опыт написания коннекторов Kafka Connect;
- опыт написания процессоров Nifi;
- опыт построения CI/CD пайплайнов в GitLab;
Наш технологический стек:
Текущий:
Gitlab;
Kubernetes;
Apache Spark;
Apache Nifi;
Apache Kafka;
Prometheus;
Grafana;
OpenMetadata;
Ceph
В планах:
Apache Flink
Data Engineer в команду интеграции
Функции:
- интеграция с внешними и внутренними источниками;
- построение ETL пайплайнов;
- проверка качества данных;
- регистрация происхождения данных;
- настройка систем мониторинга;
- поддержка систем интерграции;
- написание, параметризация и профилизация - запросов к СУБД;
- написание библиотек и сервисов интеграции;
Ожидания:
- опыт работы с Apache Airflow;
- опыт работы с pySpark;
- знание SQL;
- опыт работы с OLAP СУБД;
- понимание принципов и основных методов - построения архитектуры хранилищ данных;
- опыт работы в Linux (командная строка);
- опыт работы с Docker или Kubernetes; опыт работы с Apache Nifi;
- опыт работы с Apache Кака;
- опыт работы с OLTP СУБД;
- опыт работы с Git; |
- понимание принципов и основных методов построения архитектуры платформ данных;
- понимание подходов к обработке данных;
Будет плюсом:
- знание Python;
- знание JAVA;
- опыт работы с Apache Spark;
- опыт написания коннекторов Kafka Connect;
- опыт написания процессоров Nifi;
- опыт построения CI/CD пайплайнов в GitLab;
Наш технологический стек:
Текущий:
Gitlab;
Kubernetes;
Apache Spark;
Apache Nifi;
Apache Kafka;
Prometheus;
Grafana;
OpenMetadata;
Ceph
В планах:
Apache Flink
#вакансия #data_engineer
Data Engineer (Senior)
О кандидате:
Стек: языки программирования, фрэймворки, системы управления базами данных, и т.д.
Грейд: Senior
Локация специалиста:РФ, РБ
Тайм-зона проекта: мск
О проекте:
Описание проекта:* Российская сеть розничных магазинов.
Дата старта проекта: месяц
Продолжительность проекта (от 3х месяцев):3 месяца с возможностью продления
Тип занятости: удалёнка
Ставка закупки: до 2200 с НДС
Загрузка: фулл-тайм
Требования:
●опыт перехода на Kubernetes
●Apache (Spark, Hive, Airflow)
●Yandex Cloud
●Python
●SQL
●Linux
●Docker
●Streaming
Data Engineer (Senior)
О кандидате:
Стек: языки программирования, фрэймворки, системы управления базами данных, и т.д.
Грейд: Senior
Локация специалиста:РФ, РБ
Тайм-зона проекта: мск
О проекте:
Описание проекта:* Российская сеть розничных магазинов.
Дата старта проекта: месяц
Продолжительность проекта (от 3х месяцев):3 месяца с возможностью продления
Тип занятости: удалёнка
Ставка закупки: до 2200 с НДС
Загрузка: фулл-тайм
Требования:
●опыт перехода на Kubernetes
●Apache (Spark, Hive, Airflow)
●Yandex Cloud
●Python
●SQL
●Linux
●Docker
●Streaming
#вакансия #data_engineer
Data Engineer Senior в айти компанию
❗️Гражданство и локация РФ/РБ, срок привлечения 3 мес., возможно продление
быть готовым предоставить информацию о юридических лицах, в которых работал кандидат
⚡️Резюме в ворде с полным ФИО, пожалуйста. Проверьте требования вакансии и наличие опыта в резюме. Для НЧ необходима: полное ФИО, личная почта специалиста, номер телефона, дата рождения
Ставка 1800
Описание проекта: Российская сеть розничных магазинов.
Задачи:
* Миграция из Managed Service в собственные Kubernetes
* Разработка модулей и скриптов данных для пилота
* Разработка скриптов для повышения качества данных
* Разработка CI/CD конвейеров. 1 DevOps/1 DE
* Разработка модулей для Alluxio. 0,5 DevOps
* I&D. Разработка модулей для поддержки промышленной системы. 0,5 DevOps
* Разработка модулей межсервисного шифрования. 0,5 DevOps
* Разработка общего метахранилища. 0,5 DevOps
* I&D. Разработка мониторинга сервисов и инфраструктуры. 0,5 DevOps
Требования:
- Опыт работы от 6 лет
- Apache (Spark, Hive, Airflow)
- Yandex Cloud
- Python
- SQL
- Linux
- Docker
- Streaming
Data Engineer Senior в айти компанию
❗️Гражданство и локация РФ/РБ, срок привлечения 3 мес., возможно продление
быть готовым предоставить информацию о юридических лицах, в которых работал кандидат
⚡️Резюме в ворде с полным ФИО, пожалуйста. Проверьте требования вакансии и наличие опыта в резюме. Для НЧ необходима: полное ФИО, личная почта специалиста, номер телефона, дата рождения
Ставка 1800
Описание проекта: Российская сеть розничных магазинов.
Задачи:
* Миграция из Managed Service в собственные Kubernetes
* Разработка модулей и скриптов данных для пилота
* Разработка скриптов для повышения качества данных
* Разработка CI/CD конвейеров. 1 DevOps/1 DE
* Разработка модулей для Alluxio. 0,5 DevOps
* I&D. Разработка модулей для поддержки промышленной системы. 0,5 DevOps
* Разработка модулей межсервисного шифрования. 0,5 DevOps
* Разработка общего метахранилища. 0,5 DevOps
* I&D. Разработка мониторинга сервисов и инфраструктуры. 0,5 DevOps
Требования:
- Опыт работы от 6 лет
- Apache (Spark, Hive, Airflow)
- Yandex Cloud
- Python
- SQL
- Linux
- Docker
- Streaming
#вакансия #data_engineer
Data Engineer, Middle+/Senior
Локация: РФ
Гражданство: РФ
Проект: Тбанк
Закрытие ежемесячное, оплата ориентировочно 45-60 рабочих дней
Рейт: до 2000 руб. час (по результатам собеседования будет обсуждаться итоговая ставка)
Требования:
— Умение работать с данными (SQL);
— Знание принципов построения DWH и стандартов архитектуры;
— Знание архитектуры Greenplum, Hadoop и Clickhouse, умение оптимизировать запросы в этих системах;
— Умение работать с ETL инструментами Apache Airflow, Apache NiFi, Apache Flink;
— Аналитическое мышление;
— Системный подход.
❗️ВАЖНО:
1.Не рассматриваем кандидатов, которых показывали в течении 1 года в банк Тинькофф
2. Локация - только РФ.
Направлять резюме со следующей информацией:
1. Оценка по требованиям
2. ФИО кандидата
3. Локация, гражданство
4. Эл. почта (не корпоративная)
5. Рассматривался ли специалист в течение года в банк Тинькофф
Data Engineer, Middle+/Senior
Локация: РФ
Гражданство: РФ
Проект: Тбанк
Закрытие ежемесячное, оплата ориентировочно 45-60 рабочих дней
Рейт: до 2000 руб. час (по результатам собеседования будет обсуждаться итоговая ставка)
Требования:
— Умение работать с данными (SQL);
— Знание принципов построения DWH и стандартов архитектуры;
— Знание архитектуры Greenplum, Hadoop и Clickhouse, умение оптимизировать запросы в этих системах;
— Умение работать с ETL инструментами Apache Airflow, Apache NiFi, Apache Flink;
— Аналитическое мышление;
— Системный подход.
❗️ВАЖНО:
1.Не рассматриваем кандидатов, которых показывали в течении 1 года в банк Тинькофф
2. Локация - только РФ.
Направлять резюме со следующей информацией:
1. Оценка по требованиям
2. ФИО кандидата
3. Локация, гражданство
4. Эл. почта (не корпоративная)
5. Рассматривался ли специалист в течение года в банк Тинькофф
#вакансия #data_engineer
Data инженер_Senior
Грейд: Middle/Senior
Локация специалиста: Строго РФ
Тайм-зона проекта: мск
Гражданство: Строго РФ
О проекте:
Название конечного клиента или отрасль: Райффайзен
Дата старта проекта: конец августа - начало сентября
Продолжительность проекта (от 3х месяцев): середина 26 года, но возможна пролонгация до конца 27 года.
Оформление:
Тип занятости: удалёнка
Ставка закупки: 2200
Загрузка: фулл-тайм
Условия оплаты: отсрочка 40 рабочих дней
Обязательные данные по кандидату при подаче:
● ФИ
● Страна+Город
● Грейд
● Ставка
● Оценить требования ДА/НЕТ, в соответствии с наличием опыта.
● ВСЕ ТРЕБОВАНИЯ ИЗ ЗАПРОСА ОТРАЖЕНЫ В ПРОЕКТАХ РЕЗЮМЕ
Задачи:
- Мигрировать процессы для отчетности и аналитики и настраивать их регламентную загрузку;
- Работать с общебанковской data-платформой (data lake, dwh, streaming, etc.);
- Разрабатывать end-to-end пайплайны по сбору и обработке данных: выбирать оптимальный формат, структуру хранения и архитектуру интеграционных решений;
- Анализировать и оптимизировать производительность пайплайнов, инструментов и дата-сервисов;
- Развивать архитектуру данных и внедрять новые технологические решения и сервисы;
- Управлять обновлениями, настройками, устранять выявленные уязвимости, восстанавливать сервисы после сбоев, обрабатывать инциденты;
- Настраивать и поддерживать процессы и инструменты интеграции Near-Real Time платформы с системами-источниками и потребителями данных.
Требования:
Обязательные требования:
- Владение SQL на уровне оптимизированных сложных запросов;
- Понимание принципов функционирования традиционных СУБД и баз данных класса MPP;
- Опыт программирования на языках Python и/или Java, Scala;
- Опыт оркестрации ETL-пайплайнов с помощью Airflow;
- Наличие опыта взаимодействия с инструментом dbt;
- Умение работать с технологиями экосистемы Hadoop (HDFS, YARN, HIVE, Sqoop);
- Владение технологией Apache Spark (Spark DataFrames, Spark SQL);
- Опыт работы с банковской предметной областью.
- Опыт работы с Kafka, Trino;
- Опыт работы с контейнерными технологиями и оркестрацией: kubernetes, helm;
- Знания и опыт CI/CD-практик и инструментов.
Текущий основной стек:
Python, Trino, dbt, Airflow, Spark, Hadoop, Hive, Postgres, Greenplum, Kubernetes, Gitlab.
Писать: @ju_vetta
Data инженер_Senior
Грейд: Middle/Senior
Локация специалиста: Строго РФ
Тайм-зона проекта: мск
Гражданство: Строго РФ
О проекте:
Название конечного клиента или отрасль: Райффайзен
Дата старта проекта: конец августа - начало сентября
Продолжительность проекта (от 3х месяцев): середина 26 года, но возможна пролонгация до конца 27 года.
Оформление:
Тип занятости: удалёнка
Ставка закупки: 2200
Загрузка: фулл-тайм
Условия оплаты: отсрочка 40 рабочих дней
Обязательные данные по кандидату при подаче:
● ФИ
● Страна+Город
● Грейд
● Ставка
● Оценить требования ДА/НЕТ, в соответствии с наличием опыта.
● ВСЕ ТРЕБОВАНИЯ ИЗ ЗАПРОСА ОТРАЖЕНЫ В ПРОЕКТАХ РЕЗЮМЕ
Задачи:
- Мигрировать процессы для отчетности и аналитики и настраивать их регламентную загрузку;
- Работать с общебанковской data-платформой (data lake, dwh, streaming, etc.);
- Разрабатывать end-to-end пайплайны по сбору и обработке данных: выбирать оптимальный формат, структуру хранения и архитектуру интеграционных решений;
- Анализировать и оптимизировать производительность пайплайнов, инструментов и дата-сервисов;
- Развивать архитектуру данных и внедрять новые технологические решения и сервисы;
- Управлять обновлениями, настройками, устранять выявленные уязвимости, восстанавливать сервисы после сбоев, обрабатывать инциденты;
- Настраивать и поддерживать процессы и инструменты интеграции Near-Real Time платформы с системами-источниками и потребителями данных.
Требования:
Обязательные требования:
- Владение SQL на уровне оптимизированных сложных запросов;
- Понимание принципов функционирования традиционных СУБД и баз данных класса MPP;
- Опыт программирования на языках Python и/или Java, Scala;
- Опыт оркестрации ETL-пайплайнов с помощью Airflow;
- Наличие опыта взаимодействия с инструментом dbt;
- Умение работать с технологиями экосистемы Hadoop (HDFS, YARN, HIVE, Sqoop);
- Владение технологией Apache Spark (Spark DataFrames, Spark SQL);
- Опыт работы с банковской предметной областью.
- Опыт работы с Kafka, Trino;
- Опыт работы с контейнерными технологиями и оркестрацией: kubernetes, helm;
- Знания и опыт CI/CD-практик и инструментов.
Текущий основной стек:
Python, Trino, dbt, Airflow, Spark, Hadoop, Hive, Postgres, Greenplum, Kubernetes, Gitlab.
Писать: @ju_vetta
#вакансия #data_engineer
Data инженер Senior
Срок привлечения: 3 мес. (с возможностью продления)
Локация: любая
Ставка: до 2200, с НДС
Обязательные требования
- Релевантный опыт от 3-х лет;
- Владение одним из языков программирования (Java/Groovy), знание принципов ООП, умение читать чужой код;
- Сборка проекта, компиляция и деплой в Rancher (Docker);
- Опыт проектирования, реализации, развития и поддержки интеграционных решений на стеке технологий BigData;
- Знание SQL (индексы, функции, умение читать планы запросов, оптимизация запросов);
- Опыт работы с Trino, Airflow, S3;
- Опыт работы с любой реляционной БД (Oracle, Postgres, MySQL, MsSQL, DB2 и т.п.);
- Умение работать с Git в консоли;
- Знания специфики работы ETL инструментов (Apache Nifi, Airflow, интеграционные шины SAP BW, Talend, Informatica, SAS и т.п.);
- Опыт работы с Hadoop;
- Понимание устройства HDFS, форматов данных;
- Опыт работы с Hive или любым другим хранилищем на основе Hadoop;
- Опыт использования систем ведения проектов и документации.;
-Умение работы с архитектурными схемами;
- Понимание принципов построения и хранения данных - DWH и DataLake;
- Необходимо подписание NDA;
Дополнительные требования
- Опыт администрирования Unix/Linux или Hadoop (HDFS , Yarn, Ranger, Spark, Zookeeper), Zabbix, Ansible.
Задачи на проекте
- Самостоятельная разработка, реализация и поддержка интеграционных решений, на стеке технологий, принятых в команде (Java, Groovy, Apache Nifi, Airflow);
- Определение стека технологий для конкретных проектов и задач;
- Решать технически сложные задачи, которые другие инженеры в команде не в состоянии решить;
- Оперативное реагирование на информацию о проблемах в зоне ответственности, выполнение задач в установленный срок;
- Разработка и контроль актуальности документации взаимодействия конфигурационных единиц платформы больших данных;
- Предоставление отчетности о своей деятельности начальнику отдела/руководителю в порядке, установленном руководством;
- Контроль за качеством интеграционных решений, с последующим заведением задач/дефектов на рефакторинг;
- Определять технологическую стратегию развития проекта или продукта, работать на перспективу;
- Выстраивать процессы (например, CI/CD, код ревью), внедрять и развивать инженерные практики.
Описание проекта и команды
Крупная ритейл компания.
Писать: @ju_vetta
Data инженер Senior
Срок привлечения: 3 мес. (с возможностью продления)
Локация: любая
Ставка: до 2200, с НДС
Обязательные требования
- Релевантный опыт от 3-х лет;
- Владение одним из языков программирования (Java/Groovy), знание принципов ООП, умение читать чужой код;
- Сборка проекта, компиляция и деплой в Rancher (Docker);
- Опыт проектирования, реализации, развития и поддержки интеграционных решений на стеке технологий BigData;
- Знание SQL (индексы, функции, умение читать планы запросов, оптимизация запросов);
- Опыт работы с Trino, Airflow, S3;
- Опыт работы с любой реляционной БД (Oracle, Postgres, MySQL, MsSQL, DB2 и т.п.);
- Умение работать с Git в консоли;
- Знания специфики работы ETL инструментов (Apache Nifi, Airflow, интеграционные шины SAP BW, Talend, Informatica, SAS и т.п.);
- Опыт работы с Hadoop;
- Понимание устройства HDFS, форматов данных;
- Опыт работы с Hive или любым другим хранилищем на основе Hadoop;
- Опыт использования систем ведения проектов и документации.;
-Умение работы с архитектурными схемами;
- Понимание принципов построения и хранения данных - DWH и DataLake;
- Необходимо подписание NDA;
Дополнительные требования
- Опыт администрирования Unix/Linux или Hadoop (HDFS , Yarn, Ranger, Spark, Zookeeper), Zabbix, Ansible.
Задачи на проекте
- Самостоятельная разработка, реализация и поддержка интеграционных решений, на стеке технологий, принятых в команде (Java, Groovy, Apache Nifi, Airflow);
- Определение стека технологий для конкретных проектов и задач;
- Решать технически сложные задачи, которые другие инженеры в команде не в состоянии решить;
- Оперативное реагирование на информацию о проблемах в зоне ответственности, выполнение задач в установленный срок;
- Разработка и контроль актуальности документации взаимодействия конфигурационных единиц платформы больших данных;
- Предоставление отчетности о своей деятельности начальнику отдела/руководителю в порядке, установленном руководством;
- Контроль за качеством интеграционных решений, с последующим заведением задач/дефектов на рефакторинг;
- Определять технологическую стратегию развития проекта или продукта, работать на перспективу;
- Выстраивать процессы (например, CI/CD, код ревью), внедрять и развивать инженерные практики.
Описание проекта и команды
Крупная ритейл компания.
Писать: @ju_vetta
#вакансия #data_engineer
Data Engineer Senior
Проект: х5
Длительность проекта: 3-6 мес.
Локация: Любая
Ставка: 2000, с НДС
Обязанности
• Разработка низкоуровневой архитектуры систем больших данных, на основании информации полученной от аналитиков и архитекторов.
• Разработка документа, описывающего низкоуровневую архитектуру разрабатываемых систем больших данных.
• Разработка, программного кода систем больших данных
• Подготовка документации, описывающей алгоритмы разработанных систем больших данных
• Разработка Unit Тестов для программного кода систем больших данных
• Подготовка и сборка установочных пакетов, для установки разработанных решений на промышленную среду.
• Проведение плановых работ по оптимизации программного кода разработанных систем больших данных
• Исправление дефектов в разработанных приложениях
• Подготовка и выпуск пакетов обновлений, включающих в себя исправление дефектов и оптимизацию программного кода систем больших данных
Ключевые компетенции
Git
Linux
PostgreSQL
Docker
Kubernetes
CI/CD
k8S
Greenplum
Shell
ETL
Gitlab
code review
spark
Unit-tests
Hadoop/Hive
BigData
python 3.5+
Flake8
PyTest
Требования
от 3 лет коммерческой разработки
от 2 лет - разработка систем, которые вышли в промышленную эксплуатацию от 2 лет BigData
Глубокие теоретические знания стека технологий и практический опыт.
Умение давать и принимать обратную связь
Опыт работы с бизнес требованиям (сбор, формирование требований, анализ), опыт работы в условиях постоянно меняющихся требований
Опыт написания программ распределенных вычислений (Spark) и ETL процессов
Опыт проведения Code Review
Опыт/понимание разработки и проектирования архитектуры БД, создание и манипуляции с БД
Опыт оптимизации запросов
Понимание процессов CI/CD
Опыт оптимизации запросов
Опыт написания unit тестов Python 3.5+ Spark 2.2+ Hadoop Hive Airflow Kubernetes (K8S) SQLAlchemy, PostgresQL, Greenplum PyTest / Unittest Flake8 / PyLint Black Docker Git, GitLab, CI / CD, разрешение конфликтов Shell, Linux
Писать: @ju_vetta
Data Engineer Senior
Проект: х5
Длительность проекта: 3-6 мес.
Локация: Любая
Ставка: 2000, с НДС
Обязанности
• Разработка низкоуровневой архитектуры систем больших данных, на основании информации полученной от аналитиков и архитекторов.
• Разработка документа, описывающего низкоуровневую архитектуру разрабатываемых систем больших данных.
• Разработка, программного кода систем больших данных
• Подготовка документации, описывающей алгоритмы разработанных систем больших данных
• Разработка Unit Тестов для программного кода систем больших данных
• Подготовка и сборка установочных пакетов, для установки разработанных решений на промышленную среду.
• Проведение плановых работ по оптимизации программного кода разработанных систем больших данных
• Исправление дефектов в разработанных приложениях
• Подготовка и выпуск пакетов обновлений, включающих в себя исправление дефектов и оптимизацию программного кода систем больших данных
Ключевые компетенции
Git
Linux
PostgreSQL
Docker
Kubernetes
CI/CD
k8S
Greenplum
Shell
ETL
Gitlab
code review
spark
Unit-tests
Hadoop/Hive
BigData
python 3.5+
Flake8
PyTest
Требования
от 3 лет коммерческой разработки
от 2 лет - разработка систем, которые вышли в промышленную эксплуатацию от 2 лет BigData
Глубокие теоретические знания стека технологий и практический опыт.
Умение давать и принимать обратную связь
Опыт работы с бизнес требованиям (сбор, формирование требований, анализ), опыт работы в условиях постоянно меняющихся требований
Опыт написания программ распределенных вычислений (Spark) и ETL процессов
Опыт проведения Code Review
Опыт/понимание разработки и проектирования архитектуры БД, создание и манипуляции с БД
Опыт оптимизации запросов
Понимание процессов CI/CD
Опыт оптимизации запросов
Опыт написания unit тестов Python 3.5+ Spark 2.2+ Hadoop Hive Airflow Kubernetes (K8S) SQLAlchemy, PostgresQL, Greenplum PyTest / Unittest Flake8 / PyLint Black Docker Git, GitLab, CI / CD, разрешение конфликтов Shell, Linux
Писать: @ju_vetta
#вакансия #data_engineer
Дата инженер Senior в телеком (платформа объявлений)
Локация и гражданство РФ, срок проекта 3-6 мес., зависит от скорости закрытия задач, также возможно продление
ВАЖНО: работать можно только на СВОЁМ Макбуке М2/М3 не ниже (у специалиста наличие, либо вы предоставляете самостоятельно). По оперативе не меньше 24 / 36Гб. На макбук нужно будет установить программу для безопасности MDM (mobile device management). ЕСЛИ всё это ОК - берем резюме.
Ставка 2000, с НДС
Отсрочка 60 к.д.
В рамках одного из внутренних технических проектов компании нам требуется аутсорс дата-инженеров для выполнения ряда задач:
• разработка/оптимизация витрин данных в Корпоративном хранилище данных
• миграция SQL-кода витрин между диалектами Vertica и Trino
• сверка данных между витринами в разных КХД, анализ алгоритмов и поиск причин расхождения
Требования к дата-инженерам:
• отличное знание SQL
• хорошее понимание архитектур и методологий проектирования Корпоративных хранилищ данных
• опыт проектирования витрин данных
• навыки сбора требований и общения с пользователями
Писать: @ju_vetta
Дата инженер Senior в телеком (платформа объявлений)
Локация и гражданство РФ, срок проекта 3-6 мес., зависит от скорости закрытия задач, также возможно продление
ВАЖНО: работать можно только на СВОЁМ Макбуке М2/М3 не ниже (у специалиста наличие, либо вы предоставляете самостоятельно). По оперативе не меньше 24 / 36Гб. На макбук нужно будет установить программу для безопасности MDM (mobile device management). ЕСЛИ всё это ОК - берем резюме.
Ставка 2000, с НДС
Отсрочка 60 к.д.
В рамках одного из внутренних технических проектов компании нам требуется аутсорс дата-инженеров для выполнения ряда задач:
• разработка/оптимизация витрин данных в Корпоративном хранилище данных
• миграция SQL-кода витрин между диалектами Vertica и Trino
• сверка данных между витринами в разных КХД, анализ алгоритмов и поиск причин расхождения
Требования к дата-инженерам:
• отличное знание SQL
• хорошее понимание архитектур и методологий проектирования Корпоративных хранилищ данных
• опыт проектирования витрин данных
• навыки сбора требований и общения с пользователями
Писать: @ju_vetta