5 октября начнется 19-й поток программы Data Engineer от Newprolab

Программа для junior- и middle-дата-инженеров, аналитиков, backend-разработчиков, техлидов и тех, кто работает с data-командами и хочет лучше понимать современный стек DE

📌 Что внутри:
– 10 недель обучения
– 30 занятий: онлайн + записи
– 10 практических лабораторных работ
– облачный кластер и реальные данные
– чат участников и поддержка команды программы

📌 Что получите на выходе:
1. Научитесь решать типовые задачи DE на практике
2. Систематизируете знания и закроете пробелы в современном DE-стеке
3. Поработаете с реальными данными и инфраструктурой, а не только с учебными примерами
4. Соберете практический опыт, который можно обсуждать на собеседованиях и использовать в работе
5. Все записи и материалы останутся у вас после окончания программы

Преподаватели – практикующие специалисты из ведущих технологических компаний. На занятиях можно разбирать реальные кейсы, задавать вопросы и получать обратную связь

👉 Подробности и квиз – на сайте

Квиз покажет, насколько программа подходит именно под вашу роль и задачи, даст персональные рекомендации и промокод на скидку
___
По всем вопросам пишите Алексею @snitsa

Привет! На связи ggsel 💚
Мы ищем Head of DWH - лидера, который сочетает глубокую техническую экспертизу в DWH/ClickHouse, архитектурное мышление и управленческие навыки.
Стек: ClickHouse, SQL, Python, Airflow, dbt, PostgreSQL, Docker, Git.

✅ Ключевые требования и задачи
- ClickHouse - основная экспертиза: проектирование MergeTree, партиционирование, TTL, оптимизация запросов, шардирование/репликация, бэкапы в S3.
- ETL/ELT и оркестрация: Airflow, dbt, data quality, тесты, мониторинг свежести данных, data contracts.
- Управление командой: найм, онбординг, развитие, performance review, процессы разработки, roadmap, OKR, бюджет.
- Бизнес и Data Governance: сбор требований, приоритизация, коммуникация с C-level, каталог данных, lineage, GDPR/152-ФЗ, разграничение доступа.

✅ Условия
- Удаленная работа из любой точки мира.
- Конкурентная зарплата + performance премия 2 раза в год.
- Гибкий график и фокус на результат.
- Оплата обучения, курсов и конференций.
- Возможность реально влиять на продукт и команду.

Узнать подробности и оставить отклик можно на нашем корпоративном портале:
https://jobs.friend.work/ggsel/125493

Стажер-инженер данных BI (Data Engineer) в ИТ-компанию «Лоция» (ИТ-аккредитация Минцифры)
Москва

Срочный трудовой договор на 3 месяца, 5/2, не более 30 часов в неделю, удаленно/офис/гибрид.

На стажировку рассматриваем студентов из любых ВУЗов, любой формы обучения, включая заочную, включая магистратуру.

https://career.habr.com/vacancies/1000168355

Data-инженер (Python, аудио, ML) — НИОКР по гранту ФСИ, удалённо из любого города РФ.

#работа #удаленка

Стек: Python, NumPy, ffmpeg, Linux, pytest; плюс — обработка аудио/DSP,
векторные индексы, SQL.

Проект NormalDance Protocol — слой идентификации музыки и автоматического
распределения роялти по цепочке авторов: перцептивный аудиоотпечаток ADNA,
реестр прав, выплаты через СБП. Прототип работает, прод-пилот идёт на
действующей музыкальной площадке. Грант ФСИ «Старт-1» (НИОКР 12 мес).

Задачи: аттестационный стенд идентификации — выборка ≥1000 треков / ≥5
жанров, робастность к форматам, битрейтам, питч-сдвигам; подтверждение
операционных порогов статистикой, а не «на трёх файлах»; матчинг фрагментов
(сэмпл внутри чужого трека, обрезки, питч); воспроизводимый аудио-корпус
и регрессии.

Условия: 112 000 ₽ gross/мес (~97 000 на руки), 12 мес, полная занятость,
полностью удалённо из любого города РФ. Вилка — грантовые рамки ФСИ; за
досрочные результаты — бонусы и долевое участие от компании. Оформление —
ТД с компанией-получателем гранта, выход в проект с первого месяца НИОКР.
Сейчас — созвон-знакомство, письмо о намерениях (1 страница, ни к чему не
обязывает).

Важнее списка библиотек — умение строить честные измерения: методика,
выборки, цена ошибок первого/второго рода. Опыт с аудио/DSP/индексами —
плюс. Детали и техпостановка — под NDA. Пишите: @AndyKachess

Middle/Senior Data Engineer
Become a part of the Aristek Systems team!
Lithuania

Aristek Systems is actively involved in the development of innovative IT solutions for the US and European markets. Our team consists of over 170 highly qualified professionals of various IT-spheres.
Now we are looking for Middle/Senior Data Engineer to join our team!

About the project:
The customer is a US-based EdTech company in the K-12 education domain. It provides a digital learning platform (ALDP / IQWST science curriculum) and educational materials for schools. The platform runs on AWS (Laravel back end, MySQL/RDS) and has a wide range of rostering and LMS integrations (Edlink, Clever, ClassLink, OneRoster, Google Classroom, Canvas).

The project is a new Data Lake and analytics initiative (started October 2026): collect platform data (usage, assignments, grades, rostering) into an AWS data lake and build learning analytics and reporting on top of it. Districts join on an opt-in basis, so student-data privacy, district Data Privacy Agreements and strict security/compliance are core requirements.

Details

HR contact: @tanya_olshevskaya

🚀 Hiring: Senior Data Engineer — DWH / Lakehouse
📍 Remote — Россия, работа по времени МСК
🧩 Full-time, ТК РФ

Ищу Senior Data Engineer, который сможет взять на себя развитие нового DWH / Lakehouse-контура и стать владельцем хранилища данных end-to-end.

Что предстоит:
— перенести текущую аналитику на новую Lakehouse-архитектуру;
— развивать DWH от источников и загрузки данных до детального слоя и витрин;
— работать с dbt, Airflow, Trino, Iceberg, S3 и ClickHouse;
— проектировать модели данных и развивать Data Vault;
— выстраивать Data Quality, CI/CD и надежный dev-to-prod процесс;
— оптимизировать SQL, пайплайны и производительность хранилища.

Что важно:
— 3+ лет опыта в Data Engineering;
— опыт полного ownership хранилища: от источников до пользовательских витрин;
— сильный SQL и production Python;
— production-опыт с dbt;
— практический опыт Airflow / Dagster / Prefect;
— глубокий опыт хотя бы с одной MPP / columnar системой: Trino, ClickHouse, Greenplum, Spark и др.;
— понимание Kimball, Data Vault и/или Anchor Modelling.

📩 Пишите в личные сообщения или Telegram: @alexnkineberg

Источник: https://lnkd.in/p/dr9NUSEV

Data Engineer DWH

Мы ищем опытного Data Engineer / DWH-разработчика для работы над аналитическими системами в финансовом домене. Нам нужен практичный специалист, который сможет быстро погрузиться в предметную область, выстроить устойчивую модель данных и взять на себя задачи по развитию и поддержке аналитического хранилища. Проект ориентирован на работу с данными кредитных организаций, с фокусом на качество данных, прозрачность метрик и удобство аналитики.

Ключевые обязанности:
• Проектирование и развитие аналитического хранилища данных (DWH)
• Разработка моделей данных (fact / dimension, агрегаты)
• Построение ETL / ELT-процессов загрузки и трансформации данных
• Разработка аналитических витрин и BI-моделей
• Работа с финансовыми данными (кредиты, платежи, просрочка, клиенты, продукты)
• Обеспечение качества, согласованности и историчности данных
• Оптимизация запросов, моделей данных и расчета показателей
• Взаимодействие с разработчиками, аналитиками и бизнесом для формализации требований
Требования:
• От 3 лет опыта в Data / DWH разработке
• Уверенное знание SQL
• Практический опыт построения DWH / аналитических систем
• Понимание подходов моделирования данных (Star Schema, Fact / Dimension)
• Опыт разработки ETL / ELT-процессов
• Понимание принципов построения аналитической отчетности и BI
• Опыт работы с одной или несколькими аналитическими СУБД (PostgreSQL, MS SQL Server, ClickHouse, Snowflake, BigQuery, Microsoft Fabric / Synapse)
• Понимание различий между OLTP и OLAP системами
• Умение проектировать устойчивые и понятные модели данных
Будет плюсом:
• Опыт работы в финансовом домене (банки, МФО, финтех)
• Опыт построения отчетности по кредитному портфелю (выдачи, погашения, просрочка, collection, когортный и винтажный анализ)
• Опыт работы с BI-инструментами (Power BI, Tableau, Superset, Metabase)
• Опыт работы с orchestration-инструментами (Airflow, dbt)
• Опыт использования Python для обработки данных
• Понимание принципов Data Quality, Data Governance и историзации данных
Мы предлагаем:
• Полную занятость
• Офисный формат работы в Ташкенте.
• Работу над аналитической платформой в финтех-домене с прямым влиянием на бизнес
• Сильную продуктовую и техническую команду
• Возможность профессионального роста в направлении Data / DWH архитектуры
• Конкурентную заработную плату

📩 Telegram: @haas_maru

Мы - международная IT-компания с главным офисом в Санкт-Петербурге и распределенной командой по всему миру.
Наш опыт в IT-разработке финтех решений насчитывает более 10 лет. Мы создаем продукты, которыми пользуются миллионы людей по всему миру.
Мы дадим тебе возможность использовать свой опыт по полной, каждый день узнавать что-то новое, видеть результат своей работы и чувствовать ценность своего вклада в достижении цели.

Что вы будете делать:
·       Эксплуатация PostgreSQL: администрирование production-баз данных, настройка конфигурации, мониторинг производительности и ресурсов, диагностика и устранение проблем с подключениями, блокировками, транзакциями и обслуживанием данных.
·       Развитие инфраструктуры баз данных в AWS: эксплуатация и оптимизация Amazon Aurora PostgreSQL / RDS, управление производительностью, масштабированием, доступностью и стоимостью инфраструктуры.
·       Миграция и репликация данных: участие в миграции PostgreSQL в AWS Aurora, настройка и сопровождение репликации, CDC-процессов, проверка целостности данных и организация переключения систем с минимальным простоем.
·       Надёжность и восстановление: проектирование и проверка механизмов резервного копирования, восстановления и аварийного переключения, определение и обеспечение требований к доступности и сохранности данных.
·       Оптимизация производительности: анализ медленных запросов, планов выполнения, индексов, блокировок и потребления ресурсов, поиск причин деградации производительности и разработка решений по их устранению.
·       Проектирование и изменение схем данных: участие в проектировании структуры баз данных, оптимизации схем, партиционировании и разработке безопасных подходов к миграциям без существенного влияния на production-сервисы.
·       Развитие аналитической инфраструктуры: проектирование и развитие хранилищ для исторических и аналитических данных, организация ETL/ELT-процессов, репликации и инкрементального обновления данных.
·       Автоматизация и мониторинг: разработка инструментов и скриптов для обслуживания, диагностики и мониторинга баз данных, внедрение метрик и оповещений для раннего обнаружения проблем.
·       Взаимодействие с командами: помощь backend-разработчикам и DevOps-инженерам в проектировании схем данных, оптимизации запросов, проведении миграций и решении эксплуатационных проблем.

Что мы ожидаем:
·       Уверенный практический опыт администрирования и оптимизации PostgreSQL в production-среде.
·       Глубокое понимание внутреннего устройства PostgreSQL: MVCC, WAL, транзакций, блокировок, индексов, VACUUM / autovacuum и работы планировщика запросов.
·       Уверенное владение SQL, опыт анализа и оптимизации запросов с использованием EXPLAIN / EXPLAIN ANALYZE, pg_stat_statements и других инструментов диагностики.
·       Понимание механизмов физической и логической репликации PostgreSQL, replication slots, CDC и особенностей обеспечения консистентности данных.
·       Опыт настройки резервного копирования, восстановления и обеспечения отказоустойчивости PostgreSQL.
·       Практический опыт эксплуатации PostgreSQL в AWS (RDS / Aurora) либо глубокие знания PostgreSQL и опыт работы с облачной инфраструктурой.
·       Опыт миграции баз данных и выполнения изменений схемы в production с минимальным простоем, понимание механизмов блокировок при DDL-операциях.
·       Понимание принципов проектирования реляционных баз данных, партиционирования, масштабирования и оптимизации хранения данных.
·       Опыт автоматизации задач с использованием Python, Go, Bash или других языков программирования.
·       Способность самостоятельно диагностировать сложные проблемы, находить первопричины и предлагать решения с учётом надёжности, производительности и стоимости эксплуатации.

Будет плюсом:
·       Опыт миграции PostgreSQL в Amazon Aurora с использованием AWS DMS, CDC или других инструментов репликации данных.
·       Опыт работы с TimescaleDB, ClickHouse или другими решениями для хранения и обработки больших объёмов исторических и аналитических данных.
·       Опыт проектирования аналитических хранилищ (Data Warehouse / Data Mart), построения ETL/ELT-процессов и инкрементальной загрузки данных.
·       Знание инструментов оркестрации ETL/ELT-процессов.
·       Опыт эксплуатации PostgreSQL в Kubernetes или с использованием решений высокой доступности, например Stolon или Patroni.
·       Опыт работы с CloudWatch, Grafana, Prometheus и инструментами мониторинга баз данных в AWS.
·       Знакомство с Terraform, Infrastructure as Code и автоматизацией инфраструктуры.
·       Опыт обновления версий PostgreSQL и Aurora, включая подготовку, тестирование и выполнение миграций с минимальным простоем.
·       Опыт работы с высоконагруженными системами, большими таблицами и оптимизации стоимости хранения и обработки данных.

В нашей команде вас ждет:
·       Абсолютное доверие с нашей стороны;
·       Высокий уровень дохода;
·       Официальное трудоустройство, белая заработная плата;
·       ДМС со стоматологией;
·       Компенсация спорта и обучения;
·       Любой формат работы на выбор (офис / гибрид / удаленка);
·       Участие в топовых конференциях, тренингах и обучениях;
·       Уютный офис возле станции метро Чкаловская с кофе-поинтами, массажным креслом и свежими завтраками;
·       Синергия и поддержка команды;
и все, что нужно для безопасной счастливой жизни.

headliner.dev
кому писать: @TanyaRova

В курс по Data Engineering добавил модуль про Apache Kafka 🎉

Kafka стоит почти везде, где данные идут потоком, и про неё часто спрашивают на собеседованиях. В вакансиях на этом канале она встречается постоянно.

Модуль написан с нуля: Kafka поднимается на твоём компьютере в Docker одной командой, никаких кластеров и облаков. Разбираем топики, оффсеты, партиции, ключи и то, как Kafka хранит сообщения.

В конце практика на живых данных. Подключаемся к потоку лайков соцсети Bluesky (около 300 лайков в секунду со всего мира), пишем на Python писателя и читателя, и в реальном времени смотрим, какие посты набирают лайки быстрее всего.

Курс подходит для входа в профессию с нуля: $50 один раз, все модули навсегда, включая будущие.

Программа: datahuman.net
Канал курса: @data_human
Вопросы и оплата: @storm_de

I have positions for Data engineers/Location: Europe.
1. Data Engineer / Analyst
Data Engineer (Media Streaming, US Client)
Stack: Python, Snowflake on AWS, REST API (CRM), Tableau/Power BI
Commercial ETL/ELT + REST API ingestion Experience:
Greenfield build: CRM → Snowflake pipeline + BI dashboards; AI-first workflow (Claude Code / Copilot) required / English B2+
2. Senior Data Engineer (Databricks)
Stack: Databricks, PySpark, SQL, Delta Lake, Git
Experience: 3+ years in Data Engineering, incl. Databricks projects
Plus: Databricks certification, Azure, German Nov 2026 – Mar 2027 || Finance & Insurance
3 Data Engineer / Analyst (Azure Synapse)
Stack: Azure Synapse, Data Pipelines, Data Modeling, Power BI
Experience:3+ years as Business Analyst / Data Scientist Languages: English + German (B2+)

Please, send you CV, my contact: telegram @hr_CS_developers

Ищем Куратора курса на несколько курсов по AI / Data направлениям для слушателей jun+, middle/.

Формат: удаленно
Занятость: part-time / проектная
Проект: образовательные программы по AI / Data / IT-направлениям
Компания: Standard Data

Что нужно делать:
• сопровождение группы слушателей на протяжении обучения;
• коммуникация со студентами: ответы на вопросы, напоминания, помощь с доступами, поддержка вовлеченности;
• отслеживание явки и выполнения домашних заданий, фиксация причин пропусков;
• сбор и обработка обратной связи от студентов и преподавателей;
• участие в организации и сопровождении вебинаров (проверка доступов, контроль начала, запись и публикация);
• оперативное взаимодействие с преподавателями и проджектом по возникающим вопросам;
• ведение отчетности по активности студентов и доходимости.

Ожидания от кандидата:
• опыт в роли куратора или наставника в рамках образовательных программ;
• студент старших курсов технических специальностей, высшее техническое образование;
• грамотная письменная речь;
• коммуникабельность и доброжелательность;
• стремление к развитию.

Что мы предлагаем:
• оплата по проектно;
• Гибкий график;
• Классную команду единомышленников.

Ждем тебя в нашей команде, пишите в тг, или сразу кидайте резюме: @Kate_HR_IT. Или порекомендуй друга)

🔎 нужен на проект Архитектор данных / Senior Data Engineer

Ищем специалиста с практическим опытом построения Lakehouse на проект биотехнологической компании.

📌 Условия
Локация: строго РФ.
Формат: полностью удалённо.
Оплата: до 2 000 руб/час или до 330 000 руб/месяц.
Оформление: ИП или самозанятость (СМЗ).

🎯 Основной фокус
Построение Lakehouse для работы с файловыми и табличными данными, создание надежных потоков данных для промышленной эксплуатации.

📌 Что важно
- Практический опыт проектирования и построения Lakehouse.
- Опыт работы с файловыми и табличными данными.
- Построение production-grade потоков данных из файловых сервисов с версионированием.
- Знание и практический опыт работы с NiFi, Airflow, Iceberg, Ceph и Lakekeeper.
- Опыт применения RBAC - ролевого управления доступом.

Ключевой акцент при отборе - практический опыт работы с данными и личный вклад в построение решений.

📩 Для связи в Telegram: @diagsid и @SVpikk

Пришлите резюме, укажите текущий город, ожидаемую ставку и возможную дату старта.

Кратко опишите, какие Lakehouse-решения строили, за что отвечали и какие технологии использовали.

Источник

Технократия
Data Engineer
🌍 Казань (релокация/гибридный формат)

Мы создаём финтех-продукты для рынков, где формируется будущее финансовых технологий. Работаем на международных проектах, совмещая скорость стартапов с надёжностью enterprise-разработки.

Чем предстоит заниматься?
• Проектировать и поддерживать интеграцию источников данных (взаимодействие с процессинговыми системами и Автоматизированной Банковской Системой / АБС);
• Организовывать мониторинг актуальности входящих данных и оперативно реагировать на инциденты;
• Готовить данные для загрузки в оговоренные форматы хранения (Data Lake / DWH) для последующего потребления смежными командами;
• Разрабатывать и оптимизировать витрины данных для BI-отчетности в Superset и PowerBI;
• Проводить глубокую проверку качества данных (Data Quality), выявлять аномалии и устранять корневые причины ошибок;
• Обеспечивать бесперебойную актуальность данных, нести ответственность за соблюдение SLA и быстрое восстановление при авариях.

Мы ожидаем:
• Отличное знание SQL (DDL/DML) в PostgreSQL;
• Хорошее знание SQL (DDL/DML) в ClickHouse;
• Отличные навыки оптимизации SQL-запросов в PostgreSQL;
• Отличные навыки работы с Python: написание и поддержка DAG-ов в Airflow, опыт работы с асинхронными сервисами;
• Хорошие навыки конфигурирования PostgreSQL.

Контакты: @recruiter_technokratos