#вакансия #SRE #DevOps #SeniorDevOps #S3 #ObjectStorage #MinIO #ApacheSpark #itjobs

📎 Ищем Главного SRE/DevOps-инженера (Senior / Senior+)

Часовой пояс: строго МСК
ЗП: от 220.000
Локация: РФ

📌 ВАЖНО:
✔️ Глубокое понимание S3/Object Storage и distributed storage architecture;
✔️ Опыт сопровождения Kubernetes-платформ;
✔️ Практический опыт эксплуатации компонентов Data Lake: Apache Spark, Airflow, Flink, Kafka, Apache Iceberg;
✔️ Опыт эксплуатации MinIO / Object Storage решений.

Задачи:
• Сопровождение и эксплуатация Data Lake платформ;
• Поддержка S3/Object Storage инфраструктуры;
• Мониторинг, диагностика и устранение инцидентов;
• Troubleshooting производительности платформы и storage систем;
• Сопровождение Kubernetes и компонентов Data Lake: Apache Spark, Airflow, Flink, Kafka, Apache Iceberg;
• Проведение RCA и postmortem analysis;
• Автоматизация эксплуатационных задач;
• Взаимодействие с командами Data Engineering и инфраструктуры;
• Сопровождение Big Data Platform.

Требования:
✔️ Экспертный опыт администрирования Linux;
✔️ Опыт сопровождения высоконагруженных distributed systems;
✔️ Глубокое понимание S3/Object Storage и distributed storage architecture;
✔️ Опыт сопровождения Kubernetes-платформ;
✔️ Практический опыт эксплуатации компонентов Data Lake: Apache Spark, Airflow, Flink, Kafka, Apache Iceberg;
✔️ Опыт эксплуатации MinIO / Object Storage решений;
✔️ Понимание replication, erasure coding, consistency, fault tolerance;
✔️ Практический опыт troubleshooting: CPU, RAM, network, disk I/O, latency, throughput;
✔️ Опыт работы с observability stack: Prometheus, Grafana, alerting, log analysis;
✔️ Опыт автоматизации: Ansible, Terraform, Bash, Python;
✔️ Понимание incident/problem management и SRE-практик;
✔️ Навыки RCA, postmortem analysis и повышения reliability платформ.

📩 Отклик: @Vika_sysoeva

#вакансия #seniordataengineer #ETL #миграция #ApacheSpark #PySpark #Airflow #NiFi #Kafka #Hadoop #Hive #Greenplum #ClickHouse #Oracle #PostgreSQL #SQL #телеком #удаленка #data #инженерияданных #ETLмиграция #ИП #проектнаяработа #Grafana #Prometheus #S3 #биллинг #highload

Позиция: Senior Data Engineer (ETL-миграция)
ЗП: 250 000 - 270 000 на руки
Занятость: Полная
Формат работы: Удаленный
Локация: РФ, часовой пояс МСК ± 3ч
Оформление: только как ИП
Компания: Top Selection
Сфера проекта: телеком

Привет! Меня зовут Марина. 👋 Я представляю группу компаний Top Selection.
Мы занимаемся трудоустройством IT специалистов на проектную занятость.
На данный момент мы в поиске Senior Data Engineer (ETL-миграция) для участия в миграции ИС на Apache стек.

✅ Требования
● Опыт миграции ETL-систем (желательно с Oracle/Informatica на Apache стек)
● Глубокий SQL: оконные функции, сложные джойны, иерархические запросы
● Оптимизация SQL для highload (партиционирование, индексы, explain plans)
● Oracle (PL/SQL) и PostgreSQL
● Greenplum и/или Clickhouse
● Проектирование архитектур на Apache Spark (PySpark), NiFi, Airflow
● Hadoop (HDFS) и Hive
● Мониторинг ETL: Grafana/Prometheus или Victoria Metrics
● Опыт работы с биллинговыми системами (желательно телеком-домен)

➕ Как преимущество
● Потоковая обработка: Kafka Streams / Spark Streaming
● Informatica PowerCenter (понимание мигрируемой системы)
● Бинарные форматы хранения в Hadoop
● Различия: Hive vs Impala, Greenplum vs PostgreSQL, Clickhouse vs PostgreSQL
● Patroni для кластеризации PostgreSQL/Greenplum
● S3-хранилища
● КриптоПро или защищенные каналы передачи данных

📋 Задачи
● Миграция ETL-системы телеком-оператора с Oracle/Informatica на Apache стек (S3, Airflow, NiFi, Kafka, Greenplum)
● Перенос бизнес-логики из Informatica в высокопроизводительный SQL-код
● Написание и оптимизация SQL для витрин данных и ETL-процессов
● Разработка DAG-ов в Airflow
● Настройка пайплайнов в NiFi (источники: Oracle, PostgreSQL; приемники: S3, файловые архивы)
● Разработка Spark-джобов (PySpark) для больших объемов
● Интеграция с Kafka для потоковой передачи
● Настройка мониторинга (Grafana/Prometheus) и отслеживание метрик
● Разбор инцидентов по качеству данных и ошибкам загрузки
● Code review

Откликнуться: @marinori86