#Moscow #Москва #DataEngineer #ДатаИнженер #DE #Python #Spark #Airflow #Гибрид
Всем привет!
Ищем Data Engineer в команду компании-стартапа с крупным заказчиком и быстрым развитием. Будем разрабатывать CDP (costumer data platform), для сегментации пользователей на аудитории, а также выполнять много других интересных задач.
🔸Что нужно будет делать:
Проектировать, разрабатывать и поддерживать пайплайны для сбора и обработки данных;
Обеспечивать SLA и качество данных;
Готовить данные для моделей машинного обучения и участвовать в их продукционализации совместно с data science командой.
🔹Что для этого нужно:
Хорошее знание технологий из стека: Python, SQL, Spark, Airflow;
Опыт работы на проектах с большими данными, понимание принципов распределенной обработки данных;
Опыт продуктовой разработки в технологических компаниях.
🔸Будет плюсом:
Опыт работы с облаками, особенно, с Яндекс.Облаком;
Опыт разработки высоконагруженных бэкенд сервисов на Java, Scala или Python;
Опыт работы с моделями машинного обучения в продакшене;
Опыт работы с базами данных для аналитики, особенно, с ClickHouse.
🔹Предлагаем:
Официальное оформление с достойной заработной платой;
Красивый современный офис в Трехгорной мануфактуре (гибридный формат работы офис/дом);
Возможность влиять на развитие продукта;
Работа в стремительно развивающейся компании.
Интересно? Пишите в тг @olgas_marksman
Всем привет!
Ищем Data Engineer в команду компании-стартапа с крупным заказчиком и быстрым развитием. Будем разрабатывать CDP (costumer data platform), для сегментации пользователей на аудитории, а также выполнять много других интересных задач.
🔸Что нужно будет делать:
Проектировать, разрабатывать и поддерживать пайплайны для сбора и обработки данных;
Обеспечивать SLA и качество данных;
Готовить данные для моделей машинного обучения и участвовать в их продукционализации совместно с data science командой.
🔹Что для этого нужно:
Хорошее знание технологий из стека: Python, SQL, Spark, Airflow;
Опыт работы на проектах с большими данными, понимание принципов распределенной обработки данных;
Опыт продуктовой разработки в технологических компаниях.
🔸Будет плюсом:
Опыт работы с облаками, особенно, с Яндекс.Облаком;
Опыт разработки высоконагруженных бэкенд сервисов на Java, Scala или Python;
Опыт работы с моделями машинного обучения в продакшене;
Опыт работы с базами данных для аналитики, особенно, с ClickHouse.
🔹Предлагаем:
Официальное оформление с достойной заработной платой;
Красивый современный офис в Трехгорной мануфактуре (гибридный формат работы офис/дом);
Возможность влиять на развитие продукта;
Работа в стремительно развивающейся компании.
Интересно? Пишите в тг @olgas_marksman
#Moscow #Москва #DataEngineer #ДатаИнженер #DE #Python #Spark #Airflow #Офис
Всем привет!
Ищем Data Engineer в команду компании-стартапа с крупным заказчиком и быстрым развитием. Будем разрабатывать CDP (costumer data platform), для сегментации пользователей на аудитории, а также выполнять много других интересных задач.
🔸Что нужно будет делать:
Проектировать, разрабатывать и поддерживать пайплайны для сбора и обработки данных;
Обеспечивать SLA и качество данных;
Готовить данные для моделей машинного обучения и участвовать в их продукционализации совместно с data science командой.
🔹Что для этого нужно:
Хорошее знание технологий из стека: Python, SQL, Spark, Airflow;
Опыт работы на проектах с большими данными, понимание принципов распределенной обработки данных;
Опыт продуктовой разработки в технологических компаниях.
🔸Будет плюсом:
Опыт работы с облаками, особенно, с Яндекс.Облаком;
Опыт разработки высоконагруженных бэкенд сервисов на Java, Scala или Python;
Опыт работы с моделями машинного обучения в продакшене;
Опыт работы с базами данных для аналитики, особенно, с ClickHouse.
🔹Предлагаем:
Официальное оформление с достойной заработной платой;
Красивый современный офис в Трехгорной мануфактуре;
Возможность влиять на развитие продукта;
Работа в стремительно развивающейся компании.
Интересно? Пишите в тг @baiev_rodion93
Всем привет!
Ищем Data Engineer в команду компании-стартапа с крупным заказчиком и быстрым развитием. Будем разрабатывать CDP (costumer data platform), для сегментации пользователей на аудитории, а также выполнять много других интересных задач.
🔸Что нужно будет делать:
Проектировать, разрабатывать и поддерживать пайплайны для сбора и обработки данных;
Обеспечивать SLA и качество данных;
Готовить данные для моделей машинного обучения и участвовать в их продукционализации совместно с data science командой.
🔹Что для этого нужно:
Хорошее знание технологий из стека: Python, SQL, Spark, Airflow;
Опыт работы на проектах с большими данными, понимание принципов распределенной обработки данных;
Опыт продуктовой разработки в технологических компаниях.
🔸Будет плюсом:
Опыт работы с облаками, особенно, с Яндекс.Облаком;
Опыт разработки высоконагруженных бэкенд сервисов на Java, Scala или Python;
Опыт работы с моделями машинного обучения в продакшене;
Опыт работы с базами данных для аналитики, особенно, с ClickHouse.
🔹Предлагаем:
Официальное оформление с достойной заработной платой;
Красивый современный офис в Трехгорной мануфактуре;
Возможность влиять на развитие продукта;
Работа в стремительно развивающейся компании.
Интересно? Пишите в тг @baiev_rodion93
#Moscow #Москва #DataEngineer #ДатаИнженер #DE #Python #Spark #Airflow #Офис
Всем привет!
Ищем Lead Data Engineer в команду компании-стартапа с крупным заказчиком и быстрым развитием. Будем разрабатывать CDP (customer data platform), для сегментации пользователей на аудитории, а также выполнять много других интересных задач.
🔸Что нужно будет делать:
Проектировать, разрабатывать и поддерживать пайплайны для сбора и обработки данных;
Обеспечивать SLA и качество данных;
Готовить данные для моделей машинного обучения и участвовать в их продукционализации совместно с data science командой.
🔹Что для этого нужно:
Хорошее знание технологий из стека: Python, SQL, Spark, Airflow;
Опыт работы на проектах с большими данными, понимание принципов распределенной обработки данных;
Опыт продуктовой разработки в технологических компаниях.
🔸Будет плюсом:
Опыт работы с облаками, особенно, с Яндекс.Облаком;
Опыт разработки высоконагруженных бэкенд сервисов на Java, Scala или Python;
Опыт работы с моделями машинного обучения в продакшене;
Опыт работы с базами данных для аналитики, особенно, с ClickHouse.
🔹Предлагаем:
Официальное оформление с достойной заработной платой;
Красивый современный офис в Трехгорной мануфактуре;
Возможность влиять на развитие продукта;
Работа в стремительно развивающейся компании.
Интересно? Пишите в тг @baiev_rodion
Всем привет!
Ищем Lead Data Engineer в команду компании-стартапа с крупным заказчиком и быстрым развитием. Будем разрабатывать CDP (customer data platform), для сегментации пользователей на аудитории, а также выполнять много других интересных задач.
🔸Что нужно будет делать:
Проектировать, разрабатывать и поддерживать пайплайны для сбора и обработки данных;
Обеспечивать SLA и качество данных;
Готовить данные для моделей машинного обучения и участвовать в их продукционализации совместно с data science командой.
🔹Что для этого нужно:
Хорошее знание технологий из стека: Python, SQL, Spark, Airflow;
Опыт работы на проектах с большими данными, понимание принципов распределенной обработки данных;
Опыт продуктовой разработки в технологических компаниях.
🔸Будет плюсом:
Опыт работы с облаками, особенно, с Яндекс.Облаком;
Опыт разработки высоконагруженных бэкенд сервисов на Java, Scala или Python;
Опыт работы с моделями машинного обучения в продакшене;
Опыт работы с базами данных для аналитики, особенно, с ClickHouse.
🔹Предлагаем:
Официальное оформление с достойной заработной платой;
Красивый современный офис в Трехгорной мануфактуре;
Возможность влиять на развитие продукта;
Работа в стремительно развивающейся компании.
Интересно? Пишите в тг @baiev_rodion
#работа #удаленнаяработа #вакансия #middle #IT #Apache #SQL #дата #ETL #Nifi #Airflow #аналитик
Позиция: Системный аналитик
Полная занятость
График: 5/2
Формат работы: удалённо, только РФ
Компания: 7RedLines
Оформление: ТК РФ
Заработная плата: 150 000 р. на руки
Контактная информация:
Тг: @HR7RedLines
Эл.почта: i.filimonova@7rlines.com
Требования:
- Опыт работы от 3-х лет;
- Участие в 3+ проектах миграции ETL-систем (ИС -Apache);
- Опыт проектирования архитектуры для Spark, NiFi/ Dolphin, Airflow;
- Опыт написания сложных запросов SQL (оконные функции, джоины);
- Опыт формализации требований;
- Подготовка документации для пользователей и разработчиков;
- Опыт проектирования Grafana/Prometheus для отслеживания ETL-процессов.
Будет плюсом:
- Опыт работы с Java;
- Опыт работы с интеграциями;
- Опыт создания ER- диаграмм, инструкций. тест кейсов;
- Знание телеком-процессов.
Позиция: Системный аналитик
Полная занятость
График: 5/2
Формат работы: удалённо, только РФ
Компания: 7RedLines
Оформление: ТК РФ
Заработная плата: 150 000 р. на руки
Контактная информация:
Тг: @HR7RedLines
Эл.почта: i.filimonova@7rlines.com
Требования:
- Опыт работы от 3-х лет;
- Участие в 3+ проектах миграции ETL-систем (ИС -Apache);
- Опыт проектирования архитектуры для Spark, NiFi/ Dolphin, Airflow;
- Опыт написания сложных запросов SQL (оконные функции, джоины);
- Опыт формализации требований;
- Подготовка документации для пользователей и разработчиков;
- Опыт проектирования Grafana/Prometheus для отслеживания ETL-процессов.
Будет плюсом:
- Опыт работы с Java;
- Опыт работы с интеграциями;
- Опыт создания ER- диаграмм, инструкций. тест кейсов;
- Знание телеком-процессов.
#работа #удаленнаяработа #вакансия #middle #IT #Apache #SQL #дата #ETL #Nifi #Airflow #аналитик
Позиция: Системный аналитик
Полная занятость
График: 5/2
Формат работы: удалённо, только РФ
Компания: 7RedLines
Оформление: ТК РФ
Заработная плата: 150 000 р. на руки
Контактная информация:
Тг: @HR7RedLines
Эл.почта: i.filimonova@7rlines.com
Требования:
- Опыт работы от 3-х лет;
- Участие в 3+ проектах миграции ETL-систем (стек Apache);
- Опыт описания интеграционных взаимодействий на проектах на стеке: Spark, NiFi/ Dolphin, Airflow или др. (ER-диаграммы, нотации UML, C4 и др.)
- Опыт написания сложных запросов SQL (оконные функции, джоины);
- Опыт формализации требований;
- Подготовка документации для пользователей и разработчиков;
- Опыт разработки дашбордов в Grafana/Prometheus (для отслеживания ETL-пайплайнов).
Будет плюсом:
- Знание телеком-процессов;
- Опыт работы с Java.
Позиция: Системный аналитик
Полная занятость
График: 5/2
Формат работы: удалённо, только РФ
Компания: 7RedLines
Оформление: ТК РФ
Заработная плата: 150 000 р. на руки
Контактная информация:
Тг: @HR7RedLines
Эл.почта: i.filimonova@7rlines.com
Требования:
- Опыт работы от 3-х лет;
- Участие в 3+ проектах миграции ETL-систем (стек Apache);
- Опыт описания интеграционных взаимодействий на проектах на стеке: Spark, NiFi/ Dolphin, Airflow или др. (ER-диаграммы, нотации UML, C4 и др.)
- Опыт написания сложных запросов SQL (оконные функции, джоины);
- Опыт формализации требований;
- Подготовка документации для пользователей и разработчиков;
- Опыт разработки дашбордов в Grafana/Prometheus (для отслеживания ETL-пайплайнов).
Будет плюсом:
- Знание телеком-процессов;
- Опыт работы с Java.
#вакансия #DataVault #AirFlow #датаинженер #удаленно #fulltime
Привет!👋
Меня зовут Ирина. Я представляю группу компаний Top Selection.
Ищем дата инженера с опытом дата аналитики.
✅ Уровень: Middle
✅ ЗП: Middle: 170-200К на gross
✅ Формат: удаленно
✅ Загрузка: fulltime
✅ Локация: любая
✅ Гражданство: РФ!
✅ Оформление: как ИП (не СЗ, не ТК)
✅Обязательные требования
Стек: S3, Trino, AirFlow, SQL, Data Vault
- Знание SQL (индексы, функции, оптимизация, профилирование производительности);
- Опыт работы с любой реляционной БД (Postgres, Oracle, MySQL, MsSQL, DB2 и т.п.);
- Понимание/опыт работы со стеком S3 (обязательно!) Data Vault (менее приоритетнее), Trino, AirFlow, SQL,
- Умение работать с Git (знание команд git pull/commit/push);
- Опыт работы с DBT, Cosmos Понимание устройства Iceberg, форматов данных;
- Опыт работы с построением хранилищ данных, понимание принципов архитектуры;
- Базовые навыки по работе с данными на Python;
- Опыт использования системами ведения проектов и документации.
📋Задачи на проекте
Хранилище в формате Data vault, Нужно будет раскладывать данные по нему.
- Вести разработку согласно ТЗ;
- Дорабатывать существующие витрины EDW и разрабатывать новые;
- Разработка типовых потоковых интеграционных решений на стеке технологий, принятых в команде: Trino, Iceberg, S3, Spark, Apache Airflow, Kafka, Cosmos, Flink;
- Поддержание в актуальном состоянии документации платформы больших данных;
- Предоставление отчетности о своей деятельности руководителю.
📲Контакты: @irazhura87
ПРАВИЛА БЕЗОПАСНОСТИ
Привет!👋
Меня зовут Ирина. Я представляю группу компаний Top Selection.
Ищем дата инженера с опытом дата аналитики.
✅ Уровень: Middle
✅ ЗП: Middle: 170-200К на gross
✅ Формат: удаленно
✅ Загрузка: fulltime
✅ Локация: любая
✅ Гражданство: РФ!
✅ Оформление: как ИП (не СЗ, не ТК)
✅Обязательные требования
Стек: S3, Trino, AirFlow, SQL, Data Vault
- Знание SQL (индексы, функции, оптимизация, профилирование производительности);
- Опыт работы с любой реляционной БД (Postgres, Oracle, MySQL, MsSQL, DB2 и т.п.);
- Понимание/опыт работы со стеком S3 (обязательно!) Data Vault (менее приоритетнее), Trino, AirFlow, SQL,
- Умение работать с Git (знание команд git pull/commit/push);
- Опыт работы с DBT, Cosmos Понимание устройства Iceberg, форматов данных;
- Опыт работы с построением хранилищ данных, понимание принципов архитектуры;
- Базовые навыки по работе с данными на Python;
- Опыт использования системами ведения проектов и документации.
📋Задачи на проекте
Хранилище в формате Data vault, Нужно будет раскладывать данные по нему.
- Вести разработку согласно ТЗ;
- Дорабатывать существующие витрины EDW и разрабатывать новые;
- Разработка типовых потоковых интеграционных решений на стеке технологий, принятых в команде: Trino, Iceberg, S3, Spark, Apache Airflow, Kafka, Cosmos, Flink;
- Поддержание в актуальном состоянии документации платформы больших данных;
- Предоставление отчетности о своей деятельности руководителю.
📲Контакты: @irazhura87
⚠️ Убедительная просьба ознакомиться с правилами безопасности при отклике на вакансии в Телеграме. Последнее время увеличилось число мошеннических схем, когда мошенники прикрываются работодателем
ПРАВИЛА БЕЗОПАСНОСТИ
#вакансия #job #vacancy #dataengineer #python #sql #airflow #kafka #dwh #lakehouse #москва
Senior Data Engineer
📍Москва, м. Шелепиха
📍полный день / фуллтайм
📍гибрид после испытательного срока
♻️Ищем Senior Data Engineer в крупную продуктовую IT-компанию с собственной высоконагруженной платформой и командой 500+ специалистов.
Проект: команда перестраивает существующее DWH на современную Data Lakehouse-архитектуру. Новый контур во многом создаётся с нуля: уже реализована часть платформы, сейчас её масштабируют на остальные данные и развивают новые витрины.
В роли много самостоятельности и end-to-end задач: от получения данных из источника до готовой витрины. Архитектура и технические решения обсуждаются внутри команды, поэтому Senior сможет влиять на то, как будет развиваться платформа.
⭐️Что предстоит делать?
⁃ Развивать Data Lakehouse и единое DWH
⁃ Строить ETL/ELT-пайплайны от источника до готовой витрины
⁃ Разрабатывать интеграции с внутренними и внешними системами
⁃ Настраивать оркестрацию и регулярное обновление данных
⁃ Работать с data quality и metadata management
⁃ Участвовать в выборе инструментов и архитектурных решений
⁃ Взаимодействовать с архитекторами, DevOps, ИБ и бизнесом
⭐️Что хотим видеть в кандидате?
⁃ Уверенный Python и SQL
⁃ Опыт работы с Airflow или Dagster
⁃ Опыт построения ETL/ELT-пайплайнов
⁃ Хорошее понимание DWH и современных подходов к работе с данными
⁃ Опыт работы с Kafka / streaming
⁃ Опыт в небольших командах или проектах, где приходилось самостоятельно закрывать широкий круг задач
Будет плюсом: Trino, Apache Iceberg, DBT, ClickHouse
💸Предлагаем:
⁃ Оформление по ТК РФ
⁃ ДМС со стоматологией после испытательного срока
⁃ Компенсация питания
⁃ Полугодовые премии
⁃ Ежегодная индексация
⁃ Спортивные активности и корпоративные мероприятия
⁃ На испытательном сроке — офис 5/2, далее возможен гибрид по договорённости
💰Зарплатная вилка определяется по итогам интервью
📩Интересна вакансия? Присылай резюме в TG @yutovkan — расскажу подробнее о проекте и команде 🙂
ПРАВИЛА БЕЗОПАСНОСТИ
Senior Data Engineer
📍Москва, м. Шелепиха
📍полный день / фуллтайм
📍гибрид после испытательного срока
♻️Ищем Senior Data Engineer в крупную продуктовую IT-компанию с собственной высоконагруженной платформой и командой 500+ специалистов.
Проект: команда перестраивает существующее DWH на современную Data Lakehouse-архитектуру. Новый контур во многом создаётся с нуля: уже реализована часть платформы, сейчас её масштабируют на остальные данные и развивают новые витрины.
В роли много самостоятельности и end-to-end задач: от получения данных из источника до готовой витрины. Архитектура и технические решения обсуждаются внутри команды, поэтому Senior сможет влиять на то, как будет развиваться платформа.
⭐️Что предстоит делать?
⁃ Развивать Data Lakehouse и единое DWH
⁃ Строить ETL/ELT-пайплайны от источника до готовой витрины
⁃ Разрабатывать интеграции с внутренними и внешними системами
⁃ Настраивать оркестрацию и регулярное обновление данных
⁃ Работать с data quality и metadata management
⁃ Участвовать в выборе инструментов и архитектурных решений
⁃ Взаимодействовать с архитекторами, DevOps, ИБ и бизнесом
⭐️Что хотим видеть в кандидате?
⁃ Уверенный Python и SQL
⁃ Опыт работы с Airflow или Dagster
⁃ Опыт построения ETL/ELT-пайплайнов
⁃ Хорошее понимание DWH и современных подходов к работе с данными
⁃ Опыт работы с Kafka / streaming
⁃ Опыт в небольших командах или проектах, где приходилось самостоятельно закрывать широкий круг задач
Будет плюсом: Trino, Apache Iceberg, DBT, ClickHouse
💸Предлагаем:
⁃ Оформление по ТК РФ
⁃ ДМС со стоматологией после испытательного срока
⁃ Компенсация питания
⁃ Полугодовые премии
⁃ Ежегодная индексация
⁃ Спортивные активности и корпоративные мероприятия
⁃ На испытательном сроке — офис 5/2, далее возможен гибрид по договорённости
💰Зарплатная вилка определяется по итогам интервью
📩Интересна вакансия? Присылай резюме в TG @yutovkan — расскажу подробнее о проекте и команде 🙂
⚠️Убедительная просьба ознакомиться с правилами безопасности при отклике на вакансии в Телеграме. Последнее время увеличилось число мошеннических схем, когда мошенники прикрываются работодателем
ПРАВИЛА БЕЗОПАСНОСТИ
#вакансия #seniordataengineer #ETL #миграция #ApacheSpark #PySpark #Airflow #NiFi #Kafka #Hadoop #Hive #Greenplum #ClickHouse #Oracle #PostgreSQL #SQL #телеком #удаленка #data #инженерияданных #ETLмиграция #ИП #проектнаяработа #Grafana #Prometheus #S3 #биллинг #highload
Позиция: Senior Data Engineer (ETL-миграция)
ЗП: 250 000 - 270 000 на руки
Занятость: Полная
Формат работы: Удаленный
Локация: РФ, часовой пояс МСК ± 3ч
Оформление: только как ИП
Компания: Top Selection
Сфера проекта: телеком
Привет! Меня зовут Марина. 👋 Я представляю группу компаний Top Selection.
Мы занимаемся трудоустройством IT специалистов на проектную занятость.
На данный момент мы в поиске Senior Data Engineer (ETL-миграция) для участия в миграции ИС на Apache стек.
✅ Требования
● Опыт миграции ETL-систем (желательно с Oracle/Informatica на Apache стек)
● Глубокий SQL: оконные функции, сложные джойны, иерархические запросы
● Оптимизация SQL для highload (партиционирование, индексы, explain plans)
● Oracle (PL/SQL) и PostgreSQL
● Greenplum и/или Clickhouse
● Проектирование архитектур на Apache Spark (PySpark), NiFi, Airflow
● Hadoop (HDFS) и Hive
● Мониторинг ETL: Grafana/Prometheus или Victoria Metrics
● Опыт работы с биллинговыми системами (желательно телеком-домен)
➕ Как преимущество
● Потоковая обработка: Kafka Streams / Spark Streaming
● Informatica PowerCenter (понимание мигрируемой системы)
● Бинарные форматы хранения в Hadoop
● Различия: Hive vs Impala, Greenplum vs PostgreSQL, Clickhouse vs PostgreSQL
● Patroni для кластеризации PostgreSQL/Greenplum
● S3-хранилища
● КриптоПро или защищенные каналы передачи данных
📋 Задачи
● Миграция ETL-системы телеком-оператора с Oracle/Informatica на Apache стек (S3, Airflow, NiFi, Kafka, Greenplum)
● Перенос бизнес-логики из Informatica в высокопроизводительный SQL-код
● Написание и оптимизация SQL для витрин данных и ETL-процессов
● Разработка DAG-ов в Airflow
● Настройка пайплайнов в NiFi (источники: Oracle, PostgreSQL; приемники: S3, файловые архивы)
● Разработка Spark-джобов (PySpark) для больших объемов
● Интеграция с Kafka для потоковой передачи
● Настройка мониторинга (Grafana/Prometheus) и отслеживание метрик
● Разбор инцидентов по качеству данных и ошибкам загрузки
● Code review
Откликнуться: @marinori86
Позиция: Senior Data Engineer (ETL-миграция)
ЗП: 250 000 - 270 000 на руки
Занятость: Полная
Формат работы: Удаленный
Локация: РФ, часовой пояс МСК ± 3ч
Оформление: только как ИП
Компания: Top Selection
Сфера проекта: телеком
Привет! Меня зовут Марина. 👋 Я представляю группу компаний Top Selection.
Мы занимаемся трудоустройством IT специалистов на проектную занятость.
На данный момент мы в поиске Senior Data Engineer (ETL-миграция) для участия в миграции ИС на Apache стек.
✅ Требования
● Опыт миграции ETL-систем (желательно с Oracle/Informatica на Apache стек)
● Глубокий SQL: оконные функции, сложные джойны, иерархические запросы
● Оптимизация SQL для highload (партиционирование, индексы, explain plans)
● Oracle (PL/SQL) и PostgreSQL
● Greenplum и/или Clickhouse
● Проектирование архитектур на Apache Spark (PySpark), NiFi, Airflow
● Hadoop (HDFS) и Hive
● Мониторинг ETL: Grafana/Prometheus или Victoria Metrics
● Опыт работы с биллинговыми системами (желательно телеком-домен)
➕ Как преимущество
● Потоковая обработка: Kafka Streams / Spark Streaming
● Informatica PowerCenter (понимание мигрируемой системы)
● Бинарные форматы хранения в Hadoop
● Различия: Hive vs Impala, Greenplum vs PostgreSQL, Clickhouse vs PostgreSQL
● Patroni для кластеризации PostgreSQL/Greenplum
● S3-хранилища
● КриптоПро или защищенные каналы передачи данных
📋 Задачи
● Миграция ETL-системы телеком-оператора с Oracle/Informatica на Apache стек (S3, Airflow, NiFi, Kafka, Greenplum)
● Перенос бизнес-логики из Informatica в высокопроизводительный SQL-код
● Написание и оптимизация SQL для витрин данных и ETL-процессов
● Разработка DAG-ов в Airflow
● Настройка пайплайнов в NiFi (источники: Oracle, PostgreSQL; приемники: S3, файловые архивы)
● Разработка Spark-джобов (PySpark) для больших объемов
● Интеграция с Kafka для потоковой передачи
● Настройка мониторинга (Grafana/Prometheus) и отслеживание метрик
● Разбор инцидентов по качеству данных и ошибкам загрузки
● Code review
Откликнуться: @marinori86