#работа #удаленнаяработа #вакансия #Dataengineer #Дата_инженер #middle #инженер #DA

Позиция: Data-инженер
Полная занятость
График: 5/2
Формат работы: удалённо
Компания: 7RedLines
Оформление: ТК РФ
Оклад на руки: 160 000 – 190 000 к

Обязанности:
Оптимизация обработки данных в GreenPlum для сокращения времени выполнения запросов;
Проектирование и поддержка хранилищ данных в GreenPlum;
Разработка и поддержка dbt-моделей;
Проведение code review, участие в интервью для найма сотрудников.

Обязательные требования:
Опыт работы в роли Data Engineer/Data analytic от 3 лет;
Глубокие знания SQL;
Опыт работы с GreenPlum;
Опыт построения и оптимизации ETL-процессов;
Умение проводить code review и работать в команде;
Понимание принципов Agile (Scrum, Kanban) и опыт работы с Jira/Trello;
Английский язык на уровне чтения технической документации.
Желательные требования:
Опыт миграции данных из SAS в GreenPlum;
Опыт работы с dbt;
Понимание методологий проектирования хранилищ данных (Data Vault, Anchor modelling).

Контактная информация:
Тг: @HR7RedLines
Эл.почта: i.filimonova@7rlines.com

Data Engineer/ Search Engineer

#вакансия #dataengineer #Elasticsearch #AWS
Location: Remote (outside of Russia)
Work format: Remote, Full-time
Salary range: $25-35 per hour
Company name: CloudSquad
Contacts: @natalia_kurland

Our customer is generative AI company headquartered in San Francisco provides a comprehensive AI platform tailored for enterprise use. In late 2023, the company secured $100 million in Series B funding from leading institutional investors, including a prominent growth equity firm and several other major venture capital groups.

We are looking for an experienced Elasticsearch Engineer to help us scale and optimize search infrastructure across multi- and single-tenant environments. You will be responsible for improving performance isolation, managing large-scale clusters (terabytes of data per tenant), and designing a scalable, resilient Elasticsearch/OpenSearch architecture to meet enterprise requirements.

Hiring specifics:

Candidates must be located outside of Russia
Preferred candidates in or near GMT+1 time zones
Minimum 1 years hands-on experience with Elasticsearch required
Minimum 1 years experience with major cloud platforms (AWS/GCP) required
English proficiency: Upper Intermediate (B2+) or higher required

Key Responsibilities:

Optimize and scale multi-tenant Elasticsearch/OpenSearch deployments
Design and implement sharding strategies for performance isolation
Implement backup, recovery, and cross-cluster replication strategies
Collaborate with platform and application teams on data ingestion and retrieval patterns, automated provisioning

Requirements:

3–5+ years managing Elasticsearch/OpenSearch in production at scale
Deep knowledge of cluster design, indexing strategies, and search performance tuning
Experience with AWS OpenSearch, Elasticsearch Service, and/or Elastic Cloud
Familiarity with Kubernetes-based deployments is a plus

Contacts: @natalia_kurland

#вакансии #dataengineer #Spark #Scala3 #Jenkins

Ищем Инженера по инфраструктуре на курс по Spark для действующих Data Engineer.

О нас:
Standard Data – проектируем и реализуем образовательные решения под заказ крупных компаний в сфере ИИ, дата инжиниринга и веб-разработки.

Задача:
Собрать Jupyter Notebook с ядром Scala, который может:

• запускать код прямо из тетрадки,
• обращаться к реальному Hadoop-кластеру (чтение, запись, обработка данных).

Курс ведётся в формате: преподаватель идёт по тетрадке, рассказывает теорию и показывает практику на реальных данных в кластере.

Формат занятости: проектная работа (один проект)
Оплата: 50 000 ₽

Резюме и рекомендации можно кидать сюда: @KaterinkaGl

#вакансии #senior #ДатаИнженер #DataEngineer #РФ #senioranalyst #удаленка

Data Engineer Senior

Компания: Luna Capital
Локация: РФ;
Тип работы: удалёнка;
Грейд: Senior
Вилка: 200 000 - 240 000

————————————————
О ПРОЕКТЕ:

Приглашаем опытного Data Engineer для развития интеграционных и аналитических решений в ритейле.
Проект связан с построением и оптимизацией систем хранения и обработки больших данных (DWH, DataLake), интеграцией различных источников и настройкой конвейеров обработки.
Используем современные технологии Big Data и распределённые системы, активно развиваем инфраструктуру.

————————————————
ЧТО НУЖНО ДЕЛАТЬ:

Проектировать и развивать интеграционные решения на стеке BigData

Настраивать и поддерживать ETL-процессы (Apache Nifi, Airflow или аналоги)

Работать с реляционными СУБД (Oracle, Postgres, MySQL, MS SQL и др.), оптимизировать запросы

Разрабатывать и сопровождать хранилища на основе Hadoop, Hive и других инструментов экосистемы

Настраивать CI/CD, деплой проектов в Rancher/Docker

Участвовать в проектировании архитектуры и схем данных (DWH, DataLake)

————————————————
ТРЕБОВАНИЯ:

1. Опыт работы Data Engineer от 4 лет

2. Владение одним из языков программирования (Java, Groovy)

3. Знание принципов ООП, умение читать и разбирать чужой код

4. Опыт работы с системами сборки, деплоем в Rancher, Docker

5. Глубокие знания SQL (индексы, функции, планы запросов, оптимизация)

6. Опыт работы с любой реляционной БД (Oracle, Postgres, MySQL, MS SQL, DB2 и т.п.)

7. Навыки работы с Git в консоли

8. Знание ETL-инструментов (Apache Nifi, Airflow, Talend, Informatica, SAP BW, SAS и т.п.)

9. Опыт работы с Hadoop, понимание устройства HDFS и форматов данных

10. Опыт работы с Hive или другими хранилищами на базе Hadoop

11. Навыки работы с архитектурными схемами, понимание принципов DWH и DataLake

Будет плюсом:

12. Опыт администрирования Unix/Linux или Hadoop (HDFS, Yarn, Ranger, Spark, Zookeeper)

13. Опыт работы с системами мониторинга и автоматизации (Zabbix, Ansible)

—————————————————-
📩 Отклик в тг: @recruiter_vv
К отклику не забудьте указать что вы из канала datasciencejobs, и приложите, пожалуйста: ваше актуальное резюме, а также самостоятельный скрининг по требованиям в формате "+/-", например:
1. Опыт работы Data Engineer от 4 лет +

#вакансии #dataengineer #Spark #Scala3 #Jenkins #Senior

Друзья, всем привет!

Ищем Преподавателя для уроков и проверки задач на практический курс по разработке на Spark для действующих Data Engineer.

О нас:
Standard Data – проектируем и реализуем образовательные решения под заказ крупных компаний в сфере ИИ, дата инжиниринга и веб-разработки.

Кого ищем:
Преподавателя, которому интересно поучаствовать в качественном образовательном проекте.

Что нужно делать:
•  Проводить занятия, обычно по выбранным (2-4) темам из всего курса. Занятия в формате вебинаров 2 раза в неделю по 2 часа.
•  Общаться в чате и отвечать на вопросы слушателей курса.
•  Проверять домашние задания и давать развернутую обратную связь слушателям.

Что мы ждем от кандидата:
•  От 3 - 5 лет в роли DE, опыт оптимизации высоконагруженных приложений/ETL процессов;
•  Опыт работы со Scala 3; Spark; Kafka + Spark Structured Streaming; Hadoop; Oozie; Yarn.

Что мы предлагаем:
•  Сумма оплаты возможна и больше, всё зависит от опыта, публикаций и результатов собеседования.
•  За проведение одного двухчасового занятия – 10т.р.-20т.р. в зависимости от вашего опыта.
•  За проверку ДЗ и итогового проекта – до 60т.р. в зависимости от количества человек в группе.

Ждем тебя в нашей команде, пишите в тг, или сразу кидайте резюме: @Kate_HR_IT

_____

За успешную рекомендацию по традиции бонус! Суммарно 15т.р.: при прохождении тестового 5 т.р., еще 10 т.р. после 2 месяцев хорошей работы. Если у Вас классный кандидат с большим опытом, то пишите в ЛС, согласуем другой бонус!

#вакансия #dataengineer #remote #fulltime #Python #NoSQL

Вакансия: Data Engineer/Backend-разработчик (Middle)
Компания: АО «Антиплагиат»

Формат работы: удалёнка
Занятость: полная занятость
Вилка: 255 000 (+/-) gross оклад + годовой бонус
Работа в EdTech компании, в команде инженеров данных.

Ищем Data Engineer/Python dev (Middle), умеющего организовывать автоматизированный сбор данных из различных источников (интернет, API клиентов), а также контролировать качество получаемых данных.

В работе нужно писать краулеры сайтов, разрабатывать службы для получения данных из клиентских API; 80% задач с данными и 20% на разработку.

Ожидания от кандидата:
📌2+ года коммерческого опыта работы с Python.
📌Уверенное знание Python
📌Умение обернуть написанный код в Docker-контейнер
📌Опыт работы с SQL/NoSQL БД
📌Опыт использования Linux. Применяем Debian/Ubuntu

Что предлагает компания?
🔅Аккредитованная IT- компания и дружный коллектив, объединенный в профессиональный комьюнити
🔅Удаленный формат работы
🔅Конкурентная заработная плата (оклад+ годовой бонус)
🔅Ежегодный Performance Review
🔅Обучение, посещение конференций и курсов
🔅ДМС со стоматологией
🔅Скидки и партнёрские программы

Со мной можно связаться:
@UmraSvet
+7 910 457-77-75

#вакансия #dataengineer #remote #fulltime #senior

💼 Международная технологическая компания с более чем 15-летним опытом работы в области обработки данных и искусственного интеллекта, специализирующаяся на аутстаффинге и техническом консалтинге в поисках Senior Data Engineer на крупный проект для энергетической компании из Германии.

👨‍💻 Какой опыт ожидаем увидеть:
* От 5 лет опыта работы
* Опыт проектирования хранилищ данных и архитектуры данных
* Уверенное владение SQL: написание и оптимизация сложных запросов, работа с большими объёмами данных
* Практический опыт применения методологии Data Vault 2.0
* Владение Python для автоматизации ETL/ELT, обработки и анализа данных
* Опыт с современным стеком: Snowflake (настройка, безопасность, оптимизация), dbt (Core), Apache Airflow (оркестрация пайплайнов)
* Знакомство с Azure DevOps (CI/CD, управление задачами, версионирование)
* Английский — не ниже B2

Что предлагает компания?
* Формат сотрудничества: B2B-договор.
* Полностью удалённая работа из любой точки мира, кроме России, Беларуси и Украины. Доступность в рамках часового пояса CET (до 18:00 CET)
* Рaid bench time.
* Возможность участвовать во внутренних проектах для поддержания загрузки между клиентскими проектами.
* Оплачиваемый больничный.
* Компенсация стоимости сертификаций и обучения.
* Доступ к передовым проектам в области AI и Data.

Вилка: до 5000 usd gross
Формат работы: remote
Занятость: Full Time

📩 Хотите узнать больше?
Напишите мне в тг @veronikavlasovets

#вакансия #fulltime #remote #senior #dataengineer #llm #rag

Компания Centicore💙 находится в поисках Senior Data Engineer (LLM / RAG).

Мы занимаемся продуктовой и платформенной разработкой под ключ для крупных заказчиков. В рамках проекта команда строит промышленную data-платформу для работы с большими языковыми моделями (LLM) и Retrieval-Augmented Generation (RAG).

Формат работы: Удаленка по РФ
Вилка: 350–380k на руки (в зависимости от опыта и пожеланий кандидата)
Уровень: Senior

🔷 Требования:

Отличное знание Python: структуры данных, итераторы, декораторы,
асинхронное и параллельное программирование, OOP и FP
Уверенное владение SQL: сложные запросы, CTE, оконные функции
Опыт работы с vector DB: OpenSearch, Qdrant
Опыт построения batch и streaming-сервисов для расчёта embeddings и загрузки их в векторные хранилища
Понимание принципов RAG и обогащения LLM контекстными данными
Опыт разработки промышленных ETL-сервисов на Python
Опыт оркестрации пайплайнов: Apache Airflow, Argo Workflows
Хорошее знание Apache Spark / PySpark (производительность, отладка, Spark History Server)
Опыт асинхронного взаимодействия с веб-сервисами по REST API (aiohttp, httpx)
Опыт работы с PostgreSQL, Oracle
Опыт работы с Big Data-хранилищами: Hadoop/HDFS, S3, Hive, Iceberg
Опыт работы в JupyterLab / JupyterHub

🔷 Будет плюсом:

Опыт потоковой обработки данных
Опыт работы в AI / ML / LLM-проектах
Понимание требований к данным для обучения и эксплуатации ML-моделей
Опыт построения отказоустойчивых data-сервисов в enterprise-среде

🔷 Обязанности:

Разработка сервисов пакетной и потоковой обработки данных для вычисления векторных представлений (embeddings)
Загрузка и сопровождение данных в векторных хранилищах для использования в RAG-сценариях
Разработка и поддержка ETL-пайплайнов под управлением Airflow / Argo
Оптимизация SQL-запросов и Spark-приложений
Взаимодействие с командами Data Science, ML/LLM и инфраструктуры
Участие в развитии data-платформы для LLM-решений

💌 Для откликов и вопросов — писать в лс @ktvsk_d
Будем рады знакомству! ❤️

#вакансия #dataengineer #healthtech #фултайм #москва

Вакансия: Data Engineer
Компания: AstraTech
Формат: гибридный (предпочтительно) / удаленный по РФ
Оформление: ГПХ (после ИС возможен переход на ТК)
Локация: Москва-Сити
Занятость: full-time
Вилка: 270 - 320к ₽ гросс

AI HealthTech стартап создает продукт, который трансформирует привычные процессы в здравоохранении, делая их эффективнее и меняя мир к лучшему 🕊

Сейчас команда в поиске Data Engineer, который будет заниматься построением и оптимизацией ETL-пайплайнов для обработки миллионов строк медицинских данных.
Вам предстоит обеспечивать качество и целостность данных, вы будете работать на стыке клиник, поставщиков данных и ML-команды, обеспечивая стандарты для обучения моделей.

Основные задачи:
· Анализ, нормализация и очистка крупных медицинских датасетов (EHR, анализы, диагнозы).
· Разработка и адаптация ETL-пайплайнов под разные источники данных.
· Контроль качества входящих данных, коммуникация с поставщиками и стейкхолдерами.
· Тесная работа с ML-инженерами над форматами данных и улучшением пайплайнов.

Что ожидаем:
· Опыт работы с Python (Pandas, NumPy, PyTorch; PySpark / Dask - плюс).
· Практика работы с данными масштаба миллионов записей.
· Умение ясно доносить идеи как технической, так и нетехнической аудитории.
· Готовность погружаться в медицинскую специфику.

Будет плюсом:
· Опыт в биоинформатике / медицине / HealthTech.
· Понимание конфиденциальности данных (GDPR / HIPAA).
· Знание медицинских систем кодирования (ICD-10, LOINC).
· Опыт с ETL-оркестрацией (Airflow), FHIR / HL7.

Почему стоит откликнуться?
· AstraTech - это действительно мощная команда талантливых специалистов, в которой есть несколько PhD, они драйвят процессы и привносят по своему уникальные решения в реализацию продукта.
· Возможность применить опыт и развить экспертизу в проекте, который реально помогает людям.
· Высокая степень ответственности и влияния на архитектуру данных и конечный продукт.
· Работа со сложными задачами и современным стеком технологий.

Направляйте ваши отклики с резюме — @Inga_IT 📩

#вакансия #ГородМосква #удаленнаяработа #DataEngineer

🔆Должность - Data Engineer, Middle и выше
🔶Компания - Арт-Финтех
⌨️Требования к кандидату:
- Гражданство и локация РФ
- Опыт проектирования потоков загрузки данных в хранилища DWH, опыт работы с
промышленными ETL (Informatica PowerCenter как плюс);
- Опыт работы с хранилищами данных (Oracle);
- Понимание финансовых инструментов и особенности их учета по РСБУ как плюс;
- Опыт работы на проектах внедрения/развития хранилищ данных от 3-х лет

✅Чем предстоит заниматься?
- Разработка нового и доработка существующего функционала в КХД;
- Автоматизация алгоритмов расчета трансфертного результата по операциям на
финансовых рынках.
- Загрузка и обработка данных для расчета финансового результата по финансовым инструментам.

🔗Условия:
Full-time, 5/2.
💵Вилка до 320к рублей на руки.

🪩Немного о нас:
Группа компаний «Арт-Финтех» более 20 лет на рынке — международный поставщик инновационных банковских программных решений. Наша компания разрабатывает ПО для финансового сектора
🖋 @Oleghols

#вакансия #ГородМосква #удаленнаяработа #DataEngineer

🔆Должность - Data Engineer, Middle и выше
🔶Компания - Арт-Финтех
⌨️Требования к кандидату:
- Гражданство и локация РФ
- Опыт проектирования потоков загрузки данных в хранилища DWH, опыт работы с
промышленными ETL (Informatica PowerCenter как плюс);
- Опыт работы с хранилищами данных (Oracle);
- Понимание финансовых инструментов и особенности их учета по РСБУ как плюс;
- Опыт работы на проектах внедрения/развития хранилищ данных от 3-х лет

✅Чем предстоит заниматься?
- Разработка нового и доработка существующего функционала в КХД;
- Автоматизация алгоритмов расчета трансфертного результата по операциям на
финансовых рынках.
- Загрузка и обработка данных для расчета финансового результата по финансовым инструментам.

🔗Условия:
Full-time, 5/2.
💵Вилка до 320к рублей на руки.

🪩Немного о нас:
Группа компаний «Арт-Финтех» более 20 лет на рынке — международный поставщик инновационных банковских программных решений. Наша компания разрабатывает ПО для финансового сектора
🖋 @Oleghols

#вакансия #vacancy #job #middle #dataengineer

Data Engineer в Selectel
Санкт-Петербург, Москва (гибкий гибрид)

Меня зовут Полина, я рекрутер в Selectel.
Мы — продуктовая IT-компания, предоставляем клиентам инфраструктурные решения: свое облако, платформенные сервисы в облаке, а также выделенные серверы — у нас 6 собственных дата-центров.

Основные задачи
- Взаимодействие с владельцами данных по вопросам сбора и качества данных, проведение системного анализа источников
- Разработка и поддержка пайплайнов загрузки данных на Python с использованием DAG’ов Airflow
- Разработка dbt-моделей по ключевым бизнес-процессам по схеме «звезда», создание витрин данных
- Автоматизация процессов, настройка CI/CD пайплайнов, мониторинга и алёртинга
- Участие в развитии процессов Data Quality, Data Catalog и Data Lineage, а также инфраструктуры платформы данных
- Взаимодействие с BI разработчиками и аналитиками

Мы ожидаем
- Опыт работы с реляционными (PostgreSQL) и аналитическими (ClickHouse) базами данных
- Опыт разработки на Python, особенно в сфере написания ELT пайплайнов и разработки DAG’ов Airflow
- Уверенное знание SQL и опыт оптимизации запросов
- Понимание принципов построения DWH
- Базовые знания Linux, Docker, Git, CI/CD

Если стало интересно, буду рада с вами пообщаться в лс: @apolinque

#вакансия #DE #dataengineer #BI #senior #edtech

В быстрорастущий EdTech-продукт ищем Senior Data Engineer, который возьмет ключевую роль в развитии аналитической платформы и BI-направления.

Позиция предполагает влияние на весь контур работы с данными: от общения с бизнесом до построения устойчивой инфраструктуры.
Команда - 60+ человек, стек: Node.js, PostgreSQL, ClickHouse, Kubernetes.

Мы предлагаем:
— удаленную работу и гибкий график;
— возможность влиять на процессы и предлагать новые подходы;
— рост вместе с компанией: команда растет, появляются новые направления и задачи;
— вовлеченную команду, которой важны продукт и его польза для пользователей;
— работу, где виден результат, продуктом ежедневно пользуются тысячи школьников и их родители;

Задачи:
— развитие и поддержка data-платформы (DWH + Data Lake);
— проектирование и оптимизация ETL/ELT и data pipelines;
— перевод бизнес-задач в технические решения;
— контроль качества данных и настройка мониторинга;
— работа с отчетностью, дашбордами и визуализацией;
— взаимодействие со стейкхолдерами;

Требования:
— опыт работы с данными от 4–6 лет;
— уверенный SQL, оптимизация запросов;
— опыт с PostgreSQL и ClickHouse;
— Python для аналитики и автоматизации;
— опыт с Data Lake / Lakehouse или Spark / Hadoop / Databricks;
— Airflow, dbt;
— понимание архитектуры DWH;
— опыт работы с BI-инструментами (Power BI / Tableau / DataLens);
— опыт работы с бизнес-заказчиками;
— участие в построении аналитических решений.

По всем вопросам и с CV пишите: @hello_techrecruiter

#вакансия #fulltime #remote #dataengineer #datasupport #etl #bigdata

Компания Centicore находится в поисках Инженера сопровождения дата-продуктов / Data Support Engineer на проекты крупного банка. Наша компания занимается продуктовой разработкой проектов наших Заказчиков под ключ.

Вакансия: Инженер сопровождения дата-продуктов / Data Support Engineer
Формат работы: Удаленно по РФ
Вилка: 300-330к на руки (в зависимости от опыта и пожеланий кандидата)
Технический уровень: Middle / Middle+

Команда занимается задачами сопровождения дата продуктов.

🔷Технические требования:
ЯП: SQL, Python
Технологический стек: Apache Spark, Hadoop\S3\S3-like, Apache Airflow, Parquet\ORC. Знание Apache Iceberg будет плюсом
Навыки работы с: Jira + Confluence или аналогичное, Git, CI/CD, XML, JSON
Навыки системного анализа, тестирования
Базовое знание работы с РСУБД, Kafka

Важно:
- SQL , Spark, Hadoop, Airflow/oozie, понимание ETL , Airflow/oozie, , умение читать код (чтобы понимать как данные из одного места транслируются в другое)


🔷 Задачи:
Сопровождать и анализировать существующие процессы загрузки данных;
Разбирать технические контроли качества данных;
Тестировать доработки и устанавливать их в продуктивный контур;
Анализировать логику ETL-процессов и движение данных между системами;
Взаимодействовать с внутренними командами по вопросам качества и стабильности дата-продуктов;
Поддерживать корректную работу процессов загрузки и обработки данных.

——
⚠️ Безопасность соискателя! Участились случаи целевого HR-скама (блокировка личных MacBook, кража персональных данных, и т.д.). Если работодатель требует авторизоваться в чужом Apple ID, установить MDM-профиль или внести страховой взнос — немедленно прервите контакт, и сообщите администрации нашего канала (контакты есть в информации о канале @datasciencejobs).
🔗 Перед откликом обязательно изучите Регламент безопасности канала.
——

💌 Контакт: для вопросов и резюме — в лс @ktvsk_d

#вакансия #Москва #удаленка #DataEngineer #DE #Middle

Data Engineer (middle+) в Арт-Финтех

Требования к кандидату:
- Гражданство и локация РФ, РБ
- Базовый уровень знания java (циклы, условия, хешмапы и т.д.)
- Базовый уровень знания и понимание CI/CD
- Linux (basic), Ansible, SQL, Git, XML, JSON, XSLT, YAML
- Базовые знания экосистемы Hadoop и его компонентов (Apache Solr, Apache Hive, Apache HBase, Apache Spark, Apache Zookeper, Apache Oozie, Apache Camel)
- Язык: английский, уровень владения: технический (чтение документации, профильных ресурсов)

Условия:
Full-time, 5/2.
до 170к рублей на руки.

Немного о нас:
Группа компаний «АРТ-Финтех» более 20 лет на рынке — международный поставщик инновационных банковских программных решений. Наша компания разрабатывает ПО для финансового сектора

——
⚠️ Безопасность соискателя! Участились случаи целевого HR-скама (блокировка личных MacBook, кража персональных данных, и т.д.). Если работодатель требует авторизоваться в чужом Apple ID, установить MDM-профиль или внести страховой взнос — немедленно прервите контакт, и сообщите администрации нашего канала (контакты есть в информации о канале @datasciencejobs).
🔗 Перед откликом обязательно изучите Регламент безопасности канала.
——

По всем вопросам и для резюме пишите: @Oleghols

#вакансия #dataengineer #python #airflow #etl #dwh #удалённо

Data Engineer (Middle)
Оплата: 150 000 – 170 000 ₽
Компания: 💻 Кодекс-ИТ
Грейд: Middle
Гражданство: РФ
Локация: строго РФ
Формат работы: удаленно
Часовой пояс: не более ±2 часов от МСК

📋 Проект:
Разработка единой системы оценки эффективности.
📋 Задачи:
— Разработка решений вокруг DWH
— Создание ETL / настройка сбора данных, BI-аналитика
— Проработка архитектуры данных и системы для их сбора
— Внедрение нового функционала, сокращение техдолга
📋 Требования:
— Опыт проектирования и построения пайплайнов: Python / Apache Airflow
— Интеграция источников с GraphQL, RESTful
— Хранение данных в Apache Iceberg / проектирование архитектуры хранения данных
— Проектирование архитектуры сбора данных и витрин
— Тестирование данных на всех уровнях требований к качеству данных
— Настройка метрик и алертов Prometheus / интеграция с внутренними системами оповещений
— Знание предметной области
🙋 Условия:
Удаленный формат работы
Интересный проект с архитектурными задачами
Профессиональный рост
💬 Контакт: @ira_recr

#вакансия #vacancy #удалённо #data #engineer #dataengineer

❕Аккредитованная ИТ-компания "Системы и Алгоритмы" ищет Инженера данных)❕

Роль: Data-engineer
З/П: 270 000 - 295 000 р. gross
Формат работы: удаленно по РФ
Вид занятости: full-time
Локация: любой город РФ
Гражданство: РФ

✨Преимущества позиции:
• Участие в масштабном проекте цифровой трансформации, влияющем на ключевые производственные процессы.
• Возможность увидеть результаты своей работы на реальном производстве, включая реальные системы, терминалы, интеграции.
• Доступ к команде зрелых разработчиков и проектной поддержке: Team Lead, Product Owner, Project Manager.
• Пространство для инициатив, развития и расширения зоны ответственности.

✨Краткое описание роли:
Ищем инженера данных с сильными компетенциями архитектора данных и баз данных, который сможет взять на себя планирование и проведение внедрения инструментов хранения и обработки данных. Должно иметь подтвержденный опыт работы с нашим технологическим стеком (Postgres, MSSQL, Kafka, Flink, Airflow, Iceberg, Trino/StarRocks), уметь проектировать целевую архитектуру хранилищ, анализировать потоки данных и выбирать релевантный инструментарий. Критичны навыки работы с современными data-инструментами, опыт проектирования пайплайнов, обеспечения качества данных и уверенное владение Python для написания DAG, кастомных операторов и интеграций.

🔹 Что ждём от вас:
• Опыт работы на позиции Data Engineer от 4 лет в сфере разработки ПО.
• Опыт работы с ключевыми компонентами нашего стека:
- ODBMS/DBMS & Warehouses: уверенная работа с Postgres и MSSQL; опыт настройки и оптимизации OLAP-движков (Trino, StarRocks) и современных хранилищ (Cassandra, Redis).
- Data Flow Tools: практический опыт работы с Apache Airflow (написание DAG, кастомные операторы); опыт использования Apache Kafka (producer/consumer) и Apache Flink (разработка стриминговых джоб, состояние, чекпоинты).
- Data Lake / Lakehouse: опыт работы с Apache Iceberg, понимание архитектуры lakehouse, использование Lakekeeper для управления метаданными, работа с объектным хранилищем S3.
- CDC: опыт реализации Change Data Capture паттернов для синхронизации данных между системами.
• Глубокие знания в области архитектуры данных и баз данных: понимание принципов нормализации и денормализации, проектирование relational и columnar моделей, стратегии управления данными (lifecycle, retention, versioning).
• Уверенное владение Python: написание скриптов, модулей, работа с асинхронностью при необходимости; опыт написания DAG в Apache Airflow, включая кастомные операторы, hooks, sensors.
• Навыки оптимизации: умение профилировать процессы, находить bottlenecks, оптимизировать SQL-запросы и настраивать ресурсы кластеров под нагрузку.
• Владение Jira и Confluence на уровне confident user (структура страниц, шаблоны, макросы, связки задач и документации).
• Опыт организации хранения данных для последующих задач OLAP / OLTP с учетом требований (consistency / integrity).
• Опыт организации обработки данных в рамках задач OLAP / OLTP с применением различных паттернов (batch processing, CDC).
• Понимание ключевых особенностей и сценариев применения различных паттернов организации интеграционных потоков (batch processing, CDC) с учетом их характеристик (3V+).
• Опыт заведения и сопровождения заявок вService-Desk.
• Умение структурировать информацию, работать с требованиями, документировать технические решения.
• Английский — на уровне чтения и написания технической документации.

🔹 Будет плюсом:
• Опыт работы с Timeseries базами данных (InfluxDB, TimescaleDB, TDengine и др.).
• Глубокий опыт эксплуатации кластеров (Hadoop, YARN, Kubernetes) в production-среде.
• Знание SQL на продвинутом уровне (оптимизация сложных запросов, window functions, CTE).
• Опыт работы с CI/CD для data-пайплайнов.
• Понимание принципов DDD, event-driven архитектуры.
• Опыт работы с Apache NiFi.

📲 Контакты для связи:

- @Serg06SA
- +7 969 865 43 07