Forwarded from Data Engineer Работа Вакансии
#dataengineer #etl #greenplum #remote #job #senior #работа #удаленно
Компания: Робуста
Позиция: ETL разработчик/Data Engineer
Уровень: Middle+/Senior
З/п: от 250к
Локация: гибрид в Москве/удаленно по России
Мы вывели на рынок несколько успешных IT-проектов и собрали их в единую экосистему, которую назвали “Robusta".
У нас экспертная в своей сфере и креативная команда. Мы много работаем и круто отдыхаем, умеем делать классные проекты и всегда нацелены на высокий результат.
На текущий момент нам требуется ETL-разработчик уровня middle+/senior!
Обязанности:
- Организация ETL-процесса по выгрузке данных из S3 в core-слой на Greenplum v6 (ADB, Arenadata дистрибутив);
- Переработка T-SQL кода в plpgsql, используемых для перерасчета аналитических полей на core слое;
- Совместная работа с DBA-архитектором на данном проекте.
Требования:
- Понимание различий PostgreSQL & Greenplum;
- Понимание механизма работы QE/QD (query executor & query dispatcher), и как исполняется SQL-запрос в Greenplum-кластере, включая планы запросов (redistribute, broadcast, gather motions);
- Понимание механизма дистрибьюции данных на сегмент-инстансах Greenplum, и как исправлять перекосы данных (skews);
- Понимание разницы механизмов работы Heap & AOP (append-optimzed) таблиц в Greenplum, включая понимание “ограничений” колоночного формата хранения данных;
- Понимание различий между логическими моделями: звезды, снежинки и DataVault;
Опыт с технологическим стеком: Greenplum, PXF, gpfdist, AirFlow, Spark.
Условия:
- Удалённая работа либо гибрид/офис, по вашему желанию :)
- Работу без бюрократии и ненужных ритуалов. Мы работаем вместе, чтобы помочь вам реализовать ваши амбиции, а компании — расти;
- ДМС: нам важно, чтобы наши сотрудники развивали свои компетенции и были здоровы;
- Невероятную корпоративную жизнь: от походов в музеи до совместных путешествий и rave-вечеринок;
- Гибкое время начала рабочего дня.
Резюме и вопросы можно скидывать прямо сюда
Компания: Робуста
Позиция: ETL разработчик/Data Engineer
Уровень: Middle+/Senior
З/п: от 250к
Локация: гибрид в Москве/удаленно по России
Мы вывели на рынок несколько успешных IT-проектов и собрали их в единую экосистему, которую назвали “Robusta".
У нас экспертная в своей сфере и креативная команда. Мы много работаем и круто отдыхаем, умеем делать классные проекты и всегда нацелены на высокий результат.
На текущий момент нам требуется ETL-разработчик уровня middle+/senior!
Обязанности:
- Организация ETL-процесса по выгрузке данных из S3 в core-слой на Greenplum v6 (ADB, Arenadata дистрибутив);
- Переработка T-SQL кода в plpgsql, используемых для перерасчета аналитических полей на core слое;
- Совместная работа с DBA-архитектором на данном проекте.
Требования:
- Понимание различий PostgreSQL & Greenplum;
- Понимание механизма работы QE/QD (query executor & query dispatcher), и как исполняется SQL-запрос в Greenplum-кластере, включая планы запросов (redistribute, broadcast, gather motions);
- Понимание механизма дистрибьюции данных на сегмент-инстансах Greenplum, и как исправлять перекосы данных (skews);
- Понимание разницы механизмов работы Heap & AOP (append-optimzed) таблиц в Greenplum, включая понимание “ограничений” колоночного формата хранения данных;
- Понимание различий между логическими моделями: звезды, снежинки и DataVault;
Опыт с технологическим стеком: Greenplum, PXF, gpfdist, AirFlow, Spark.
Условия:
- Удалённая работа либо гибрид/офис, по вашему желанию :)
- Работу без бюрократии и ненужных ритуалов. Мы работаем вместе, чтобы помочь вам реализовать ваши амбиции, а компании — расти;
- ДМС: нам важно, чтобы наши сотрудники развивали свои компетенции и были здоровы;
- Невероятную корпоративную жизнь: от походов в музеи до совместных путешествий и rave-вечеринок;
- Гибкое время начала рабочего дня.
Резюме и вопросы можно скидывать прямо сюда
Forwarded from MARY
#вакансия #dataengineer
Позиция: Data Engineer
📍 FMCG компания
🌏 Формат: удалённо
💻 Занятость: полная
🗓Опыт работы: 3-6 лет
💸 Вилка: до 300 000 рублей net
Для вопросов и резюме:
📲 @konoovylinkaa
Мы в поиске Инженера данных в команду Data Management бизнес-сегмента Pet Nutrition.
Цель команды Data Management – внедрить процессы управления данными, а также практики и системы, которые позволят всей компании контролировать свои ресурсы в виде данных и управлять ими. Мы отвечаем за работу всего data-pipeline от исходной системы до отчета.
Позиция: Data Engineer
📍 FMCG компания
🌏 Формат: удалённо
💻 Занятость: полная
🗓Опыт работы: 3-6 лет
💸 Вилка: до 300 000 рублей net
Для вопросов и резюме:
📲 @konoovylinkaa
Мы в поиске Инженера данных в команду Data Management бизнес-сегмента Pet Nutrition.
Цель команды Data Management – внедрить процессы управления данными, а также практики и системы, которые позволят всей компании контролировать свои ресурсы в виде данных и управлять ими. Мы отвечаем за работу всего data-pipeline от исходной системы до отчета.
Forwarded from Data Engineer Работа Вакансии
#dataengineer #etl #greenplum #remote #job #senior #работа #удаленно
Компания: Робуста
Позиция: ETL разработчик/Data Engineer
Уровень: Middle+/Senior
З/п: от 250к
Локация: гибрид в Москве/удаленно по России
Мы вывели на рынок несколько успешных IT-проектов и собрали их в единую экосистему, которую назвали “Robusta".
У нас экспертная в своей сфере и креативная команда. Мы много работаем и круто отдыхаем, умеем делать классные проекты и всегда нацелены на высокий результат.
На текущий момент нам требуется ETL-разработчик уровня middle+/senior!
Обязанности:
- Организация ETL-процесса по выгрузке данных из S3 в core-слой на Greenplum v6 (ADB, Arenadata дистрибутив);
- Переработка T-SQL кода в plpgsql, используемых для перерасчета аналитических полей на core слое;
- Совместная работа с DBA-архитектором на данном проекте.
Требования:
- Понимание различий PostgreSQL & Greenplum;
- Понимание механизма работы QE/QD (query executor & query dispatcher), и как исполняется SQL-запрос в Greenplum-кластере, включая планы запросов (redistribute, broadcast, gather motions);
- Понимание механизма дистрибьюции данных на сегмент-инстансах Greenplum, и как исправлять перекосы данных (skews);
- Понимание разницы механизмов работы Heap & AOP (append-optimzed) таблиц в Greenplum, включая понимание “ограничений” колоночного формата хранения данных;
- Понимание различий между логическими моделями: звезды, снежинки и DataVault;
Опыт с технологическим стеком: Greenplum, PXF, gpfdist, AirFlow, Spark.
Условия:
- Удалённая работа либо гибрид/офис, по вашему желанию :)
- Работу без бюрократии и ненужных ритуалов. Мы работаем вместе, чтобы помочь вам реализовать ваши амбиции, а компании — расти;
- ДМС: нам важно, чтобы наши сотрудники развивали свои компетенции и были здоровы;
- Невероятную корпоративную жизнь: от походов в музеи до совместных путешествий и rave-вечеринок;
- Гибкое время начала рабочего дня.
Резюме и вопросы можно скидывать прямо сюда
Компания: Робуста
Позиция: ETL разработчик/Data Engineer
Уровень: Middle+/Senior
З/п: от 250к
Локация: гибрид в Москве/удаленно по России
Мы вывели на рынок несколько успешных IT-проектов и собрали их в единую экосистему, которую назвали “Robusta".
У нас экспертная в своей сфере и креативная команда. Мы много работаем и круто отдыхаем, умеем делать классные проекты и всегда нацелены на высокий результат.
На текущий момент нам требуется ETL-разработчик уровня middle+/senior!
Обязанности:
- Организация ETL-процесса по выгрузке данных из S3 в core-слой на Greenplum v6 (ADB, Arenadata дистрибутив);
- Переработка T-SQL кода в plpgsql, используемых для перерасчета аналитических полей на core слое;
- Совместная работа с DBA-архитектором на данном проекте.
Требования:
- Понимание различий PostgreSQL & Greenplum;
- Понимание механизма работы QE/QD (query executor & query dispatcher), и как исполняется SQL-запрос в Greenplum-кластере, включая планы запросов (redistribute, broadcast, gather motions);
- Понимание механизма дистрибьюции данных на сегмент-инстансах Greenplum, и как исправлять перекосы данных (skews);
- Понимание разницы механизмов работы Heap & AOP (append-optimzed) таблиц в Greenplum, включая понимание “ограничений” колоночного формата хранения данных;
- Понимание различий между логическими моделями: звезды, снежинки и DataVault;
Опыт с технологическим стеком: Greenplum, PXF, gpfdist, AirFlow, Spark.
Условия:
- Удалённая работа либо гибрид/офис, по вашему желанию :)
- Работу без бюрократии и ненужных ритуалов. Мы работаем вместе, чтобы помочь вам реализовать ваши амбиции, а компании — расти;
- ДМС: нам важно, чтобы наши сотрудники развивали свои компетенции и были здоровы;
- Невероятную корпоративную жизнь: от походов в музеи до совместных путешествий и rave-вечеринок;
- Гибкое время начала рабочего дня.
Резюме и вопросы можно скидывать прямо сюда
Forwarded from Data Engineer Работа Вакансии
#dataengineer #etl #greenplum #remote #job #senior #работа #удаленно
Компания: Робуста
Позиция: ETL разработчик/Data Engineer
Уровень: Middle+/Senior
З/п: от 250к
Локация: гибрид в Москве/удаленно по России
Мы вывели на рынок несколько успешных IT-проектов и собрали их в единую экосистему, которую назвали “Robusta".
У нас экспертная в своей сфере и креативная команда. Мы много работаем и круто отдыхаем, умеем делать классные проекты и всегда нацелены на высокий результат.
На текущий момент нам требуется ETL-разработчик уровня middle+/senior!
Обязанности:
- Организация ETL-процесса по выгрузке данных из S3 в core-слой на Greenplum v6 (ADB, Arenadata дистрибутив);
- Переработка T-SQL кода в plpgsql, используемых для перерасчета аналитических полей на core слое;
- Совместная работа с DBA-архитектором на данном проекте.
Требования:
- Понимание различий PostgreSQL & Greenplum;
- Понимание механизма работы QE/QD (query executor & query dispatcher), и как исполняется SQL-запрос в Greenplum-кластере, включая планы запросов (redistribute, broadcast, gather motions);
- Понимание механизма дистрибьюции данных на сегмент-инстансах Greenplum, и как исправлять перекосы данных (skews);
- Понимание разницы механизмов работы Heap & AOP (append-optimzed) таблиц в Greenplum, включая понимание “ограничений” колоночного формата хранения данных;
- Понимание различий между логическими моделями: звезды, снежинки и DataVault;
Опыт с технологическим стеком: Greenplum, PXF, gpfdist, AirFlow, Spark.
Условия:
- Удалённая работа либо гибрид/офис, по вашему желанию :)
- Работу без бюрократии и ненужных ритуалов. Мы работаем вместе, чтобы помочь вам реализовать ваши амбиции, а компании — расти;
- ДМС: нам важно, чтобы наши сотрудники развивали свои компетенции и были здоровы;
- Невероятную корпоративную жизнь: от походов в музеи до совместных путешествий и rave-вечеринок;
- Гибкое время начала рабочего дня.
Резюме и вопросы можно скидывать прямо сюда
Компания: Робуста
Позиция: ETL разработчик/Data Engineer
Уровень: Middle+/Senior
З/п: от 250к
Локация: гибрид в Москве/удаленно по России
Мы вывели на рынок несколько успешных IT-проектов и собрали их в единую экосистему, которую назвали “Robusta".
У нас экспертная в своей сфере и креативная команда. Мы много работаем и круто отдыхаем, умеем делать классные проекты и всегда нацелены на высокий результат.
На текущий момент нам требуется ETL-разработчик уровня middle+/senior!
Обязанности:
- Организация ETL-процесса по выгрузке данных из S3 в core-слой на Greenplum v6 (ADB, Arenadata дистрибутив);
- Переработка T-SQL кода в plpgsql, используемых для перерасчета аналитических полей на core слое;
- Совместная работа с DBA-архитектором на данном проекте.
Требования:
- Понимание различий PostgreSQL & Greenplum;
- Понимание механизма работы QE/QD (query executor & query dispatcher), и как исполняется SQL-запрос в Greenplum-кластере, включая планы запросов (redistribute, broadcast, gather motions);
- Понимание механизма дистрибьюции данных на сегмент-инстансах Greenplum, и как исправлять перекосы данных (skews);
- Понимание разницы механизмов работы Heap & AOP (append-optimzed) таблиц в Greenplum, включая понимание “ограничений” колоночного формата хранения данных;
- Понимание различий между логическими моделями: звезды, снежинки и DataVault;
Опыт с технологическим стеком: Greenplum, PXF, gpfdist, AirFlow, Spark.
Условия:
- Удалённая работа либо гибрид/офис, по вашему желанию :)
- Работу без бюрократии и ненужных ритуалов. Мы работаем вместе, чтобы помочь вам реализовать ваши амбиции, а компании — расти;
- ДМС: нам важно, чтобы наши сотрудники развивали свои компетенции и были здоровы;
- Невероятную корпоративную жизнь: от походов в музеи до совместных путешествий и rave-вечеринок;
- Гибкое время начала рабочего дня.
Резюме и вопросы можно скидывать прямо сюда
Forwarded from Kristina IT-рекрутер
#удаленка #РФ #remote #вакансия #vacancy #полнаязанятость
#middle+ #senior #ETL #developer #разработчик #dataengineer
Middle+, Senior ETL-разработчик (Greenplum) на Fintech проект🙂
✅ Компания:
Робуста Технологии-занимается импортозамещением всего, что связано с Bid Data: построение КХД, BI систем и тд.
Основные клиенты-крупная промышленность и Fintech.
✅ Проект: Российский Fintech проект (non banking).
Миграция КХД с MSSQL на Greenplum
✅ Вилка зп: От 350.000 до 500.000 руб на руки.
✅ Локация: Удаленка из РФ
✅ Занятость: Полная 5/2 (гибкое начало рабочего дня по часовому поясу Мск)
✅ Условия: Оформление по ТК РФ (Аккредитованная ИТ-компания)
✅ Вам предстоит:
-Совместная работа с DBA-архитектором на проектах;
-Организация ETL-процессов выгрузки данных Apache Hudi таблиц из S3 в ODS-слой на Greenplum;
-Разработка трансформации данных ODS-слоя в DDS-слой;
-Имплементация различных CDC-методов (инкрементальный JOIN с двумя наборами данных, вычисление хэша с последующим diff);
-Разработка plpgsql-функций или аналогичной логики на Spark для трансформации данных, на основе логике существующего Python/T-SQL кода (MSSQL);
-Разработка ad-hoc аналитических запросов под PostgreSQL/Greenplum;
-Разработка DataQuality-тестов на скриптовом ETL (Pyhon, Java или Scala);
-Работа с AirFlow-операторами, разработка DAGs;
✅ Мы ожидаем что у Вас есть опыт:
-Опыт ETL-разработчиком от 4 лет;
-Опыт с технологическим стеком: Greenplum, PXF, Spark.
-Понимание различий PostgreSQL & Greenplum;
-Понимание механизма работы QE/QD (query executor & query dispatcher), и как исполняется SQL-запрос в Greenplum-кластере, включая планы запросов (redistribute, broadcast, gather motions);
-Понимание механизма дистрибьюции данных на сегмент-инстансах Greenplum, и как исправлять перекосы данных (skews);
-Понимание разницы механизмов работы Heap & AOP (append-optimzed) таблиц в Greenplum, включая понимание “ограничений” колоночного формата хранения данных;
-Понимает различий между логическими моделями: звезды, снежинки и DataVault;
✅ Мы предлагаем:
-Удалённую работу из РФ;
-Работу без бюрократии и ненужных ритуалов. Мы работаем вместе, чтобы помочь вам реализовать ваши амбиции, а компании — расти;
-ДМС: нам важно, чтобы наши сотрудники развивали свои компетенции и были здоровы;
-Невероятную корпоративную жизнь: от походов в музеи до совместных путешествий и rave-вечеринок;
-Гибкое время начала рабочего дня.
📱 Жду резюме в личные сообщения 🙂:
@kriskrisych (Кристина)
#middle+ #senior #ETL #developer #разработчик #dataengineer
Middle+, Senior ETL-разработчик (Greenplum) на Fintech проект🙂
Робуста Технологии-занимается импортозамещением всего, что связано с Bid Data: построение КХД, BI систем и тд.
Основные клиенты-крупная промышленность и Fintech.
Миграция КХД с MSSQL на Greenplum
-Совместная работа с DBA-архитектором на проектах;
-Организация ETL-процессов выгрузки данных Apache Hudi таблиц из S3 в ODS-слой на Greenplum;
-Разработка трансформации данных ODS-слоя в DDS-слой;
-Имплементация различных CDC-методов (инкрементальный JOIN с двумя наборами данных, вычисление хэша с последующим diff);
-Разработка plpgsql-функций или аналогичной логики на Spark для трансформации данных, на основе логике существующего Python/T-SQL кода (MSSQL);
-Разработка ad-hoc аналитических запросов под PostgreSQL/Greenplum;
-Разработка DataQuality-тестов на скриптовом ETL (Pyhon, Java или Scala);
-Работа с AirFlow-операторами, разработка DAGs;
-Опыт ETL-разработчиком от 4 лет;
-Опыт с технологическим стеком: Greenplum, PXF, Spark.
-Понимание различий PostgreSQL & Greenplum;
-Понимание механизма работы QE/QD (query executor & query dispatcher), и как исполняется SQL-запрос в Greenplum-кластере, включая планы запросов (redistribute, broadcast, gather motions);
-Понимание механизма дистрибьюции данных на сегмент-инстансах Greenplum, и как исправлять перекосы данных (skews);
-Понимание разницы механизмов работы Heap & AOP (append-optimzed) таблиц в Greenplum, включая понимание “ограничений” колоночного формата хранения данных;
-Понимает различий между логическими моделями: звезды, снежинки и DataVault;
-Удалённую работу из РФ;
-Работу без бюрократии и ненужных ритуалов. Мы работаем вместе, чтобы помочь вам реализовать ваши амбиции, а компании — расти;
-ДМС: нам важно, чтобы наши сотрудники развивали свои компетенции и были здоровы;
-Невероятную корпоративную жизнь: от походов в музеи до совместных путешествий и rave-вечеринок;
-Гибкое время начала рабочего дня.
@kriskrisych (Кристина)
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Поля
#вакансия #job #dataengineer #senior #удаленно #remote
Всем привет!
Меня зовут Полина, HR-менеджер Twinby😋
🦋 TWINBY — сервис для проверки совместимости и поиска новых знакомств. Наша цель — стать дейтинг-приложением №1 в России, заменив сам-знаешь-что. У нас это отлично получается: сейчас Twinby скачали уже более 6 млн юзеров. Вот ссылка на наш карьерный сайт, где ты можешь подробнее прочитать о команде: https://twinby.ru/career
Мы ищем опытного Data Engineer в команду разработки
💸 Вилка: 300к-400к net
📍 Формат работы: полная занятость, удаленный формат
🐱 Важно: оформляем только граждан РФ (локация не важна)
Функции в команде:
- Поддержка и развитие аналитического хранилища данных;
- Создание витрин данных;
- Создание дашбордов;
- Определение потребностей и требований бизнес-пользователей;
- Управление потоками данных;
- Организация работы с большими данными;
- Управление данными и распределение на слои (горячие, холодные);
- Написание SQL-запросов для получения данных;
- Написание ТЗ;
- Code review.
Наши ожидания:
- Опыт работы с Hadoop, Spark;
- Опыт работы с Python от 2 лет;
- Опыт работы с SQL базами данных;
- Опыт работы с ClickHouse или другими системами управления базами данных больших объемов.
Будет плюсом:
- Навыки DevOps (Docker, Kubernetes и пр.);
- Знание принципов ETL-процессов и опыт их имплементации;
- Навык оптимизации производительности и управления ресурсами в ClickHouse или аналогичных СУБД;
- Опыт работы с распределенными вычислениями и хранением данных;
- Опыт работы с Cockroach DB;
- Опыт работы с Google Analytics, Яндекс AppMetrica, Яндекс Метрика;
- Опыт работы с Jira.
Мы предлагаем:
- Full-time работа с удалённым форматом;
- Официальное оформление по трудовому договору в РФ;
- Конкурентную заработную плату;
- Сервис корпоративных скидок;
- Возможность профессионального развития и карьерного роста.
🦋 Контакт для связи: @pppanini
Всем привет!
Меня зовут Полина, HR-менеджер Twinby
Мы ищем опытного Data Engineer в команду разработки
📍 Формат работы: полная занятость, удаленный формат
Функции в команде:
- Поддержка и развитие аналитического хранилища данных;
- Создание витрин данных;
- Создание дашбордов;
- Определение потребностей и требований бизнес-пользователей;
- Управление потоками данных;
- Организация работы с большими данными;
- Управление данными и распределение на слои (горячие, холодные);
- Написание SQL-запросов для получения данных;
- Написание ТЗ;
- Code review.
Наши ожидания:
- Опыт работы с Hadoop, Spark;
- Опыт работы с Python от 2 лет;
- Опыт работы с SQL базами данных;
- Опыт работы с ClickHouse или другими системами управления базами данных больших объемов.
Будет плюсом:
- Навыки DevOps (Docker, Kubernetes и пр.);
- Знание принципов ETL-процессов и опыт их имплементации;
- Навык оптимизации производительности и управления ресурсами в ClickHouse или аналогичных СУБД;
- Опыт работы с распределенными вычислениями и хранением данных;
- Опыт работы с Cockroach DB;
- Опыт работы с Google Analytics, Яндекс AppMetrica, Яндекс Метрика;
- Опыт работы с Jira.
Мы предлагаем:
- Full-time работа с удалённым форматом;
- Официальное оформление по трудовому договору в РФ;
- Конкурентную заработную плату;
- Сервис корпоративных скидок;
- Возможность профессионального развития и карьерного роста.
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Альбина Пшеничникова
Дарья и Альбина, я IT-рекрутеры агентства HuntIT. Мы в поиске Senior Data Engineer в холдинг нашего заказчика, разрабатывающий с нуля новую Data Platform на базе стека “AWS S3 + Snowflake + Airflow”, а также для поддержания, развития и миграции Legacy OLAP хранилища на базе ClickHouse. От соискателя требуются уверенное владение языками SQL и Python, опыт разработки Enterprise Data Warehouse, понимание принципов разработки фреймворков, а также желание обучаться новому и принимать активное участие в развитии продукта.
Твои задачи и зона ответственности:
Будет плюсом:
- Опыт работы с AWS/Microsoft Azure/ Google Cloud/Yandex Cloud;
- Опыт работы с Spark;
- Опыт работы с BI инструментами: Tableau/Power BI/Apache Superset.
Наш стек:
ClickHouse / SnowFlake / S3
Python для анализа данных (pandas, numpy, scipy, plotly, statsmodels etc)
Tableau / Holistics
Amplitude / Google Analytics
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Kristina IT-рекрутер
#удаленка #РФ #remote #вакансия #vacancy #полнаязанятость
#middle+ #senior #ETL #developer #разработчик #dataengineer
Middle+, Senior ETL-разработчик (Greenplum) на Fintech проект🙂
✅ Компания:
Робуста Технологии-занимается импортозамещением всего, что связано с Bid Data: построение КХД, BI систем и тд.
Основные клиенты-крупная промышленность и Fintech.
✅ Проект: Российский Fintech проект (non banking).
Миграция КХД с S3 на Greenplum
✅ Вилка зп: От 350.000 до 400.000 руб на руки.
✅ Локация: Удаленка из РФ
✅ Занятость: Полная 5/2 (гибкое начало рабочего дня по часовому поясу Мск)
✅ Условия: Оформление по ТК РФ (Аккредитованная ИТ-компания)
✅ Вам предстоит:
-Совместная работа с DBA-архитектором на проектах;
-Организация ETL-процессов выгрузки данных Apache Hudi таблиц из S3 в ODS-слой на Greenplum;
-Разработка трансформации данных ODS-слоя в DDS-слой;
-Имплементация различных CDC-методов (инкрементальный JOIN с двумя наборами данных, вычисление хэша с последующим diff);
-Разработка plpgsql-функций или аналогичной логики на Spark для трансформации данных, на основе логике существующего Python/T-SQL кода (MSSQL);
-Разработка ad-hoc аналитических запросов под PostgreSQL/Greenplum;
-Разработка DataQuality-тестов на скриптовом ETL (Pyhon, Java или Scala);
-Работа с AirFlow-операторами, разработка DAGs;
✅ Мы ожидаем что у Вас есть опыт:
-Опыт ETL-разработчиком от 4 лет;
-Опыт с технологическим стеком: Greenplum;
-Понимание различий PostgreSQL & Greenplum;
-Понимание механизма работы QE/QD (query executor & query dispatcher), и как исполняется SQL-запрос в Greenplum-кластере, включая планы запросов (redistribute, broadcast, gather motions);
-Понимание механизма дистрибьюции данных на сегмент-инстансах Greenplum, и как исправлять перекосы данных (skews);
-Понимание разницы механизмов работы Heap & AOP (append-optimzed) таблиц в Greenplum, включая понимание “ограничений” колоночного формата хранения данных;
-Понимает различий между логическими моделями: звезды, снежинки и DataVault;
✅ Мы предлагаем:
-Удалённую работу из РФ;
-Работу без бюрократии и ненужных ритуалов. Мы работаем вместе, чтобы помочь вам реализовать ваши амбиции, а компании — расти;
-ДМС: нам важно, чтобы наши сотрудники развивали свои компетенции и были здоровы;
-Невероятную корпоративную жизнь: от походов в музеи до совместных путешествий и rave-вечеринок;
-Гибкое время начала рабочего дня.
📱 Жду резюме в личные сообщения 🙂:
@kriskrisych (Кристина)
#middle+ #senior #ETL #developer #разработчик #dataengineer
Middle+, Senior ETL-разработчик (Greenplum) на Fintech проект🙂
Робуста Технологии-занимается импортозамещением всего, что связано с Bid Data: построение КХД, BI систем и тд.
Основные клиенты-крупная промышленность и Fintech.
Миграция КХД с S3 на Greenplum
-Совместная работа с DBA-архитектором на проектах;
-Организация ETL-процессов выгрузки данных Apache Hudi таблиц из S3 в ODS-слой на Greenplum;
-Разработка трансформации данных ODS-слоя в DDS-слой;
-Имплементация различных CDC-методов (инкрементальный JOIN с двумя наборами данных, вычисление хэша с последующим diff);
-Разработка plpgsql-функций или аналогичной логики на Spark для трансформации данных, на основе логике существующего Python/T-SQL кода (MSSQL);
-Разработка ad-hoc аналитических запросов под PostgreSQL/Greenplum;
-Разработка DataQuality-тестов на скриптовом ETL (Pyhon, Java или Scala);
-Работа с AirFlow-операторами, разработка DAGs;
-Опыт ETL-разработчиком от 4 лет;
-Опыт с технологическим стеком: Greenplum;
-Понимание различий PostgreSQL & Greenplum;
-Понимание механизма работы QE/QD (query executor & query dispatcher), и как исполняется SQL-запрос в Greenplum-кластере, включая планы запросов (redistribute, broadcast, gather motions);
-Понимание механизма дистрибьюции данных на сегмент-инстансах Greenplum, и как исправлять перекосы данных (skews);
-Понимание разницы механизмов работы Heap & AOP (append-optimzed) таблиц в Greenplum, включая понимание “ограничений” колоночного формата хранения данных;
-Понимает различий между логическими моделями: звезды, снежинки и DataVault;
-Удалённую работу из РФ;
-Работу без бюрократии и ненужных ритуалов. Мы работаем вместе, чтобы помочь вам реализовать ваши амбиции, а компании — расти;
-ДМС: нам важно, чтобы наши сотрудники развивали свои компетенции и были здоровы;
-Невероятную корпоративную жизнь: от походов в музеи до совместных путешествий и rave-вечеринок;
-Гибкое время начала рабочего дня.
@kriskrisych (Кристина)
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Welltory HR
#Вакансия #DataEngineer #Senior #УдаленнаяРабота
Senior Data Engineer в Welltory
Welltory — приложение для здоровья с 10 млн пользователей и 180 тыс. оценок ★★★★★. Создаём новую команду Data Engineering: будем строить Data Lakehouse со всеми данными в компании и доставлять данные для фичей нашего мобильного приложения.
Требования:
— Опыт работы 5+ лет в Data Engineering.
— Владение: Python, Apache Spark, AWS, SQL и NoSQL базами данных.
— Понимание теории Data Engineering и трендов в отрасли.
— Большим плюсом будет продакшен опыт с Apache Iceberg.
— Умение адаптироваться к новым инструментам, включая последние AI-решения.
Задачи:
— Построение и поддержка внутреннего Data Lakehouse на AWS.
— Разработка пайплайнов для обработки данных.
— Участие в создании архитектуры и настройке процессов в новой команде.
Условия:
— Удаленная работа с гибким графиком.
— Бонусы: субсидии на технику (50%), корпоративный психолог, опционная программа.
— Возможность влиять на здоровье и благополучие миллионов пользователей.
Подробное описание вакансии по ссылке
📩 Для отклика заполните анкету
Контакты для связи:
• Костя, руководитель команды: @tyapochkinks
• Или пишите нам в HR: @welltoryhr
Senior Data Engineer в Welltory
Welltory — приложение для здоровья с 10 млн пользователей и 180 тыс. оценок ★★★★★. Создаём новую команду Data Engineering: будем строить Data Lakehouse со всеми данными в компании и доставлять данные для фичей нашего мобильного приложения.
Требования:
— Опыт работы 5+ лет в Data Engineering.
— Владение: Python, Apache Spark, AWS, SQL и NoSQL базами данных.
— Понимание теории Data Engineering и трендов в отрасли.
— Большим плюсом будет продакшен опыт с Apache Iceberg.
— Умение адаптироваться к новым инструментам, включая последние AI-решения.
Задачи:
— Построение и поддержка внутреннего Data Lakehouse на AWS.
— Разработка пайплайнов для обработки данных.
— Участие в создании архитектуры и настройке процессов в новой команде.
Условия:
— Удаленная работа с гибким графиком.
— Бонусы: субсидии на технику (50%), корпоративный психолог, опционная программа.
— Возможность влиять на здоровье и благополучие миллионов пользователей.
Подробное описание вакансии по ссылке
📩 Для отклика заполните анкету
Контакты для связи:
• Костя, руководитель команды: @tyapochkinks
• Или пишите нам в HR: @welltoryhr
Forwarded from Алия
#DataEngineer #Vacancy #вакансия #удаленка
Вакансия: Data Engineer (Middle+ и выше)
📍 Компания: Green Wave Palace Ltd
📍 Формат работы: удаленный
⏳ Длительность проекта: 3+ месяца
💰 Зарплата: 200 000 - 250 000 руб
🌍 Локация: любая
📜 Гражданство: любое
Требования:
- Экспертный уровень Python: навыки на уровне Upper Senior.
- Опыт работы с Apache Spark: от 2 лет; глубокое понимание внутренней работы Spark.
- PostgreSQL: минимум 3 года опыта, включая решение задач оптимизации и инфраструктурных проблем.
- Clickhouse: от 2 лет опыта, знание внутреннего устройства (репликация, основные движки, оптимизация и инфраструктурные задачи).
- Kubernetes (k8s): опыт работы как пользователь от 1-2 лет.
- Работа с легаси-кодом: готовность и опыт в этом направлении.
- CI/CD: понимание процессов и принципов.
- Pytest: опыт работы; приветствуется опыт применения TDD.
- Cloud-инфраструктура: опыт работы с облачными сервисами (Yandex Cloud, AWS и др.) от 3 лет.
Soft skills: высокие навыки взаимодействия в команде.
Что ещё важно:
Опыт работы с оптимизацией и поддержкой сложной инфраструктуры.
Контакты:
📩 Для отклика отправляйте резюме на tyncharova.rec@gmail.com
📱 Telegram: @kittymurmurmur
Мы будем рады обсудить детали!
Вакансия: Data Engineer (Middle+ и выше)
📍 Компания: Green Wave Palace Ltd
📍 Формат работы: удаленный
⏳ Длительность проекта: 3+ месяца
💰 Зарплата: 200 000 - 250 000 руб
🌍 Локация: любая
📜 Гражданство: любое
Требования:
- Экспертный уровень Python: навыки на уровне Upper Senior.
- Опыт работы с Apache Spark: от 2 лет; глубокое понимание внутренней работы Spark.
- PostgreSQL: минимум 3 года опыта, включая решение задач оптимизации и инфраструктурных проблем.
- Clickhouse: от 2 лет опыта, знание внутреннего устройства (репликация, основные движки, оптимизация и инфраструктурные задачи).
- Kubernetes (k8s): опыт работы как пользователь от 1-2 лет.
- Работа с легаси-кодом: готовность и опыт в этом направлении.
- CI/CD: понимание процессов и принципов.
- Pytest: опыт работы; приветствуется опыт применения TDD.
- Cloud-инфраструктура: опыт работы с облачными сервисами (Yandex Cloud, AWS и др.) от 3 лет.
Soft skills: высокие навыки взаимодействия в команде.
Что ещё важно:
Опыт работы с оптимизацией и поддержкой сложной инфраструктуры.
Контакты:
📩 Для отклика отправляйте резюме на tyncharova.rec@gmail.com
📱 Telegram: @kittymurmurmur
Мы будем рады обсудить детали!
Forwarded from Лера Cоболева
Добрый день, разместите, пожалуйста, вакансию в чате
#вакансия #dataengineer #senior #python #spark #remote
Позиция: Data engineer
Уровень: Senior
Локация/формат работы: remote или в гибрид в Мск (м.Сухаревская)
Занятость: full-time, 5/2
ЗП: от 400 000 до 600 000 на руки
Контакт: @sobolevavalery
Всем привет! Меня зовут Лера, я работаю в КА Lucky Hunter: https://luckyhunter.io/
Я в поисках Senior Data Engineer. Наш клиент занимается разработкой и внедрением дата-продуктов в крупные бизнесы. Например, системами предсказания спроса на товары в ритейле и fmcg, рекомендательными системами, системами предсказания поломок оборудования, поисковыми системами для онлайн-магазинов, системами оптимизации производства в промышленности, цифровыми двойниками и многим другим.
Основные задачи:
- Разработка и поддержка пайплайнов обработки данных и машинного обучения на Python и Spark;
- Работа c системами хранения такими как Clickhouse и PostgreSQL;
- Поддержка существующих и написание новых Airflow Pipelines;
- Переработка существующих пайплайнов “from scratch”;
- Решение ad-hoc задач от аналитиков и датасаентистов;
- Рефакторинг легаси кода;
- Ревью кода других дата-инженеров;
- Оптимизация сложных SQL-запросов;
- Участие в реализации CI/CD;
- Решение инфраструктурных проблем в зоне ответственности DE.
Команда используют современный стек технологий и работает с большими данными: Python, Spark, Hadoop, Airflow, ClickHouse, PosgreSQL.
Какой опыт и знания коллеги ожидают увидеть: 🔎
- Уверенные знания Python 3+ (структуры данных, алгоритмы, концепции языка);
- Уверенные знания SQL: агрегации, джойны, вложенные запросы, индексы, оптимизации запросов;
- Опыт работы с Spark, Hadoop, Airflow;
- Опыт развертывания, настройки мониторинга и передачи на поддержку разработанных решений.
Условия: 📝
- Есть возможность работать в офисе в Москве, а также удаленно;
- Гибкий график работы, лояльное предоставление отгулов и отпусков;
- Приятным дополнением будет ДМС со стоматологией, оплата профильных курсов, скидки на курсы английского;
- участие в быстром росте компании, работающей на перспективном AI рынке;
- совместная работа с опытными разработчиками, аналитиками данных, data инженерами, продуктологами.
#вакансия #dataengineer #senior #python #spark #remote
Позиция: Data engineer
Уровень: Senior
Локация/формат работы: remote или в гибрид в Мск (м.Сухаревская)
Занятость: full-time, 5/2
ЗП: от 400 000 до 600 000 на руки
Контакт: @sobolevavalery
Всем привет! Меня зовут Лера, я работаю в КА Lucky Hunter: https://luckyhunter.io/
Я в поисках Senior Data Engineer. Наш клиент занимается разработкой и внедрением дата-продуктов в крупные бизнесы. Например, системами предсказания спроса на товары в ритейле и fmcg, рекомендательными системами, системами предсказания поломок оборудования, поисковыми системами для онлайн-магазинов, системами оптимизации производства в промышленности, цифровыми двойниками и многим другим.
Основные задачи:
- Разработка и поддержка пайплайнов обработки данных и машинного обучения на Python и Spark;
- Работа c системами хранения такими как Clickhouse и PostgreSQL;
- Поддержка существующих и написание новых Airflow Pipelines;
- Переработка существующих пайплайнов “from scratch”;
- Решение ad-hoc задач от аналитиков и датасаентистов;
- Рефакторинг легаси кода;
- Ревью кода других дата-инженеров;
- Оптимизация сложных SQL-запросов;
- Участие в реализации CI/CD;
- Решение инфраструктурных проблем в зоне ответственности DE.
Команда используют современный стек технологий и работает с большими данными: Python, Spark, Hadoop, Airflow, ClickHouse, PosgreSQL.
Какой опыт и знания коллеги ожидают увидеть: 🔎
- Уверенные знания Python 3+ (структуры данных, алгоритмы, концепции языка);
- Уверенные знания SQL: агрегации, джойны, вложенные запросы, индексы, оптимизации запросов;
- Опыт работы с Spark, Hadoop, Airflow;
- Опыт развертывания, настройки мониторинга и передачи на поддержку разработанных решений.
Условия: 📝
- Есть возможность работать в офисе в Москве, а также удаленно;
- Гибкий график работы, лояльное предоставление отгулов и отпусков;
- Приятным дополнением будет ДМС со стоматологией, оплата профильных курсов, скидки на курсы английского;
- участие в быстром росте компании, работающей на перспективном AI рынке;
- совместная работа с опытными разработчиками, аналитиками данных, data инженерами, продуктологами.
luckyhunter.io
Deep Tech Recruitment Agency. Your hiring is our product.
Мы нанимаем для команд, которые создают Foundation Models, Humanoid Robots и Low-Latency Systems. 2000+ закрытых вакансий в 30+ странах: AI/ML, AI Research, HFT & Quant, Robotics & Hardware.
Forwarded from Welltory HR
#Вакансия #DataEngineer #Senior #УдаленнаяРабота
Senior Data Engineer в Welltory
Welltory — приложение для здоровья с 10 млн пользователей и 180 тыс. оценок ★★★★★. Создаём новую команду Data Engineering: будем строить Data Lakehouse со всеми данными в компании и доставлять данные для фичей нашего мобильного приложения.
Требования:
— Опыт работы 5+ лет в Data Engineering.
— Владение: Python, Apache Spark, AWS, SQL и NoSQL базами данных.
— Понимание теории Data Engineering и трендов в отрасли.
— Большим плюсом будет продакшен опыт с Apache Iceberg.
— Умение адаптироваться к новым инструментам, включая последние AI-решения.
Задачи:
— Построение и поддержка внутреннего Data Lakehouse на AWS.
— Разработка пайплайнов для обработки данных.
— Участие в создании архитектуры и настройке процессов в новой команде.
Условия:
— Удаленная работа с гибким графиком.
— Бонусы: субсидии на технику (50%), корпоративный психолог, опционная программа.
— Возможность влиять на здоровье и благополучие миллионов пользователей.
Подробное описание вакансии по ссылке
📩 Для отклика заполните анкету
Контакты для связи: @welltoryhr
Senior Data Engineer в Welltory
Welltory — приложение для здоровья с 10 млн пользователей и 180 тыс. оценок ★★★★★. Создаём новую команду Data Engineering: будем строить Data Lakehouse со всеми данными в компании и доставлять данные для фичей нашего мобильного приложения.
Требования:
— Опыт работы 5+ лет в Data Engineering.
— Владение: Python, Apache Spark, AWS, SQL и NoSQL базами данных.
— Понимание теории Data Engineering и трендов в отрасли.
— Большим плюсом будет продакшен опыт с Apache Iceberg.
— Умение адаптироваться к новым инструментам, включая последние AI-решения.
Задачи:
— Построение и поддержка внутреннего Data Lakehouse на AWS.
— Разработка пайплайнов для обработки данных.
— Участие в создании архитектуры и настройке процессов в новой команде.
Условия:
— Удаленная работа с гибким графиком.
— Бонусы: субсидии на технику (50%), корпоративный психолог, опционная программа.
— Возможность влиять на здоровье и благополучие миллионов пользователей.
Подробное описание вакансии по ссылке
📩 Для отклика заполните анкету
Контакты для связи: @welltoryhr
Forwarded from Никита
#вакансия #dataengineer #удаленка #аутстафф
Вакансия: Data engineer
Компания: LIAN
Локация и гражданство: РФ
Формат работы: Удаленка по РФ
Занятость: полная +- 2 часа по мск
Проект: ритейл
Зарплатная вилка: от 250 до 320 тыс
Оформление: ИП/СЗ
Задачи:
Требования:
Для отклика пишите в личные сообщения @yanggilla
Всем отличного дня !
Вакансия: Data engineer
Компания: LIAN
Локация и гражданство: РФ
Формат работы: Удаленка по РФ
Занятость: полная +- 2 часа по мск
Проект: ритейл
Зарплатная вилка: от 250 до 320 тыс
Оформление: ИП/СЗ
Задачи:
- Разработка, реализация и поддержка типовых интеграционных решений, на стеке технологий, принятых в команде. (Java, Groovy, Apache Nifi, Airflow)
- Оперативное реагирование на информацию о проблемах в зоне ответственности, выполнение типовых задач в установленный срок.
- Поддержание в актуальном состоянии документации типовых интеграционных решений платформы больших данных.
- Предоставление отчетности о своей деятельности начальнику отдела/ руководителю в порядке, установленном руководством.
Требования:
- Общее представление о стеке технологий BigData.
- Понимать различия работы между BigData и с данными обычного размера.
- Знание SQL (индексы, функции, умение писать не сложные запросы).
- Опыт работы с любой реляционной БД (Oracle, Postgres, MySQL, MsSQL, DB2 и т.п.).
- Умение работать с Git (знание команд git pull/commit/push). - Опыт работы с любым графическим ETL инструментом (Apache Nifi, Airflow, Talend, Informatica, SAS и т.п.).
- Представление о работе с Hadoop.
- Понимание устройства HDFS, форматов данных.
- Понимание работы с Hive или любого другого хранилища на основе Hadoop.
- Опыт использования системами ведения проектов и документации.
- Знания основ программирования JAVA, Groovy, Python
Для отклика пишите в личные сообщения @yanggilla
Всем отличного дня !
Forwarded from Data Engineer Работа Вакансии
#fulltime #вакансия #vacancy #remote #senior #dataengineer
Middle+/ Senior Data Engineer
Формат: удаленно, работа в московском часовом поясе
Занятость: полная
Ставка: $3 000–$4 000
Локация: любая
Гражданство: РФ, РБ, СНГ
Ptolemay - IT аутсорс- и аутстафф- компания полного цикла по разработке мобильных и веб-приложений для бизнеса и стартапов.
Ищем Middle+/ Senior Data Engineer с уверенным опытом в финтехе и глубокой экспертизой в построении масштабируемых пайплайнов на аутстафф-проект.
Задачи:
- Мигрировать процессы для аналитики и отчетности.
- Настроить регламентную загрузку данных.
- Работать с общебанковской data-платформой (Data Lake, DWH).
- Разрабатывать end-to-end пайплайны для сбора и обработки данных.
- Выбирать оптимальные форматы хранения и архитектуру интеграции.
- Анализировать и оптимизировать производительность пайплайнов.
- Развивать архитектуру данных и внедрять новые технологии.
- Управлять обновлениями и уязвимостями, восстанавливать сервисы, обрабатывать инциденты.
Требования:
- 5+ лет опыта в роли Data Engineer (опыт во время учебы не засчитывается).
- Уверенное знание SQL, включая оптимизацию сложных запросов.
- Понимание архитектуры классических и MPP-СУБД.
- Опыт разработки на Python и/или Java, Scala.
- Опыт работы с Apache Airflow.
- Опыт работы с dbt.
- Опыт с Hadoop-стеком: HDFS, YARN, Hive, Sqoop.
- Владение Apache Spark (Spark SQL, DataFrames).
- Опыт работы в финтехе, знание банковской предметной области.
Будет плюсом:
- Опыт с Kafka, Trino.
- Опыт с Kubernetes, Helm.
- Понимание CI/CD и соответствующих инструментов.
Условия:
- Удалённая работа.
- Фулл-тайм.
- Гибкий график.
- Аутстафф-система.
- Долгосрочный проект (от 6 месяцев).
- Зарплата: $3 000–$4 000 по итогам собеседования.
Буду рада обсудить детали и ознакомиться с резюме: @rinapina_ptolemay
Middle+/ Senior Data Engineer
Формат: удаленно, работа в московском часовом поясе
Занятость: полная
Ставка: $3 000–$4 000
Локация: любая
Гражданство: РФ, РБ, СНГ
Ptolemay - IT аутсорс- и аутстафф- компания полного цикла по разработке мобильных и веб-приложений для бизнеса и стартапов.
Ищем Middle+/ Senior Data Engineer с уверенным опытом в финтехе и глубокой экспертизой в построении масштабируемых пайплайнов на аутстафф-проект.
Задачи:
- Мигрировать процессы для аналитики и отчетности.
- Настроить регламентную загрузку данных.
- Работать с общебанковской data-платформой (Data Lake, DWH).
- Разрабатывать end-to-end пайплайны для сбора и обработки данных.
- Выбирать оптимальные форматы хранения и архитектуру интеграции.
- Анализировать и оптимизировать производительность пайплайнов.
- Развивать архитектуру данных и внедрять новые технологии.
- Управлять обновлениями и уязвимостями, восстанавливать сервисы, обрабатывать инциденты.
Требования:
- 5+ лет опыта в роли Data Engineer (опыт во время учебы не засчитывается).
- Уверенное знание SQL, включая оптимизацию сложных запросов.
- Понимание архитектуры классических и MPP-СУБД.
- Опыт разработки на Python и/или Java, Scala.
- Опыт работы с Apache Airflow.
- Опыт работы с dbt.
- Опыт с Hadoop-стеком: HDFS, YARN, Hive, Sqoop.
- Владение Apache Spark (Spark SQL, DataFrames).
- Опыт работы в финтехе, знание банковской предметной области.
Будет плюсом:
- Опыт с Kafka, Trino.
- Опыт с Kubernetes, Helm.
- Понимание CI/CD и соответствующих инструментов.
Условия:
- Удалённая работа.
- Фулл-тайм.
- Гибкий график.
- Аутстафф-система.
- Долгосрочный проект (от 6 месяцев).
- Зарплата: $3 000–$4 000 по итогам собеседования.
Буду рада обсудить детали и ознакомиться с резюме: @rinapina_ptolemay
Forwarded from Data Engineer Работа Вакансии
#вакансия #Москва #engineer #dataengineer #ETL
Вакансия: Data Engineer
Компания: POLI HUNT
Опыт работы: 3–6 лет
График: 5/2, 8 часовой рабочий день
Формат работы: гибрид (офис в Москве, БЦ Атлантик)
Ожидания по ЗП: до 300 000 р (гросс)
О продукте: лидер российского рынка овощей защищенного грунта. На данный момент компания создаёт систему поддержки принятия агрономических решений для выращивания культур в закрытом грунте.
Чем предстоит заниматься:
- Анализом систем источников данных для ETL/ELT процессов (Api, DB, JSON, CSV...)
- Разработкой и поддержкой ETL/ELT процессов из различных источников (Airflow).
- Собирать, анализировать, формализировать требования к разрабатываемым решениям (модели данных, витрин данных для аналитики)
- Разработкой и поддержкой моделей и витрин данных (DBT)
- Обеспечивать качества данных (чистота, точность, целостность, полнота).
- Формировать техническую документацию (ELT/ELT процессы и алгоритмы)
- Улучшением архитектуры данных в компании, внедрение новых технологий обработки и хранения данных.
- Описанием объектов данных в дата-каталоге, поддержка актуального состояния.
Требования к кандидатам:
- Опыт проектирования, разработки, запуска ETL процессов (Airflow)
- Опыт проектирования, разработки баз данных OLTP, OLAP (MS SQL)
- Знания SQL (на уровне сложных запросов, оконных функций и оптимизации запросов), Python
- Навыки разработки с использованием GitLab, настройки CI/CD пайплайнов
- Понимание работы Bi инструментов (Power Bi)
Наш стек: MS SQL, SSAS, Power Bi; Airflow, Dbt, GitLab, Docker, Linux
Языки: SQL, Python
Мы предлагаем:
- Официальное оформление ТК РФ
- График работы: 40 часов в неделю, 10:00 - 19:00 или 09.00-18.00, Пн-Пт (возможен гибридный формат работы)
- Комфортабельное рабочее место, корпоративная мобильная связь
- Добровольное мед. страхование
- Возможность обучения и развития за счет компании
- Отпуск продолжительностью 28 календарных дней
- Место работы: м. Киевская, БЦ Атлантик, (Можайский вал, 8Д)
Контакт: @AlexandraKononenko
Вакансия: Data Engineer
Компания: POLI HUNT
Опыт работы: 3–6 лет
График: 5/2, 8 часовой рабочий день
Формат работы: гибрид (офис в Москве, БЦ Атлантик)
Ожидания по ЗП: до 300 000 р (гросс)
О продукте: лидер российского рынка овощей защищенного грунта. На данный момент компания создаёт систему поддержки принятия агрономических решений для выращивания культур в закрытом грунте.
Чем предстоит заниматься:
- Анализом систем источников данных для ETL/ELT процессов (Api, DB, JSON, CSV...)
- Разработкой и поддержкой ETL/ELT процессов из различных источников (Airflow).
- Собирать, анализировать, формализировать требования к разрабатываемым решениям (модели данных, витрин данных для аналитики)
- Разработкой и поддержкой моделей и витрин данных (DBT)
- Обеспечивать качества данных (чистота, точность, целостность, полнота).
- Формировать техническую документацию (ELT/ELT процессы и алгоритмы)
- Улучшением архитектуры данных в компании, внедрение новых технологий обработки и хранения данных.
- Описанием объектов данных в дата-каталоге, поддержка актуального состояния.
Требования к кандидатам:
- Опыт проектирования, разработки, запуска ETL процессов (Airflow)
- Опыт проектирования, разработки баз данных OLTP, OLAP (MS SQL)
- Знания SQL (на уровне сложных запросов, оконных функций и оптимизации запросов), Python
- Навыки разработки с использованием GitLab, настройки CI/CD пайплайнов
- Понимание работы Bi инструментов (Power Bi)
Наш стек: MS SQL, SSAS, Power Bi; Airflow, Dbt, GitLab, Docker, Linux
Языки: SQL, Python
Мы предлагаем:
- Официальное оформление ТК РФ
- График работы: 40 часов в неделю, 10:00 - 19:00 или 09.00-18.00, Пн-Пт (возможен гибридный формат работы)
- Комфортабельное рабочее место, корпоративная мобильная связь
- Добровольное мед. страхование
- Возможность обучения и развития за счет компании
- Отпуск продолжительностью 28 календарных дней
- Место работы: м. Киевская, БЦ Атлантик, (Можайский вал, 8Д)
Контакт: @AlexandraKononenko
Forwarded from Data Engineer Работа Вакансии
Data Engineer/ Search Engineer
#вакансия #dataengineer #Elasticsearch #AWS
Location: Remote (outside of Russia)
Work format: Remote, Full-time
Salary range: $25-35 per hour
Company name: CloudSquad
Contacts: @natalia_kurland
Our customer is generative AI company headquartered in San Francisco provides a comprehensive AI platform tailored for enterprise use. In late 2023, the company secured $100 million in Series B funding from leading institutional investors, including a prominent growth equity firm and several other major venture capital groups.
We are looking for an experienced Elasticsearch Engineer to help us scale and optimize search infrastructure across multi- and single-tenant environments. You will be responsible for improving performance isolation, managing large-scale clusters (terabytes of data per tenant), and designing a scalable, resilient Elasticsearch/OpenSearch architecture to meet enterprise requirements.
Hiring specifics:
Candidates must be located outside of Russia
Preferred candidates in or near GMT+1 time zones
Minimum 1 years hands-on experience with Elasticsearch required
Minimum 1 years experience with major cloud platforms (AWS/GCP) required
English proficiency: Upper Intermediate (B2+) or higher required
Key Responsibilities:
Optimize and scale multi-tenant Elasticsearch/OpenSearch deployments
Design and implement sharding strategies for performance isolation
Implement backup, recovery, and cross-cluster replication strategies
Collaborate with platform and application teams on data ingestion and retrieval patterns, automated provisioning
Requirements:
3–5+ years managing Elasticsearch/OpenSearch in production at scale
Deep knowledge of cluster design, indexing strategies, and search performance tuning
Experience with AWS OpenSearch, Elasticsearch Service, and/or Elastic Cloud
Familiarity with Kubernetes-based deployments is a plus
Contacts: @natalia_kurland
#вакансия #dataengineer #Elasticsearch #AWS
Location: Remote (outside of Russia)
Work format: Remote, Full-time
Salary range: $25-35 per hour
Company name: CloudSquad
Contacts: @natalia_kurland
Our customer is generative AI company headquartered in San Francisco provides a comprehensive AI platform tailored for enterprise use. In late 2023, the company secured $100 million in Series B funding from leading institutional investors, including a prominent growth equity firm and several other major venture capital groups.
We are looking for an experienced Elasticsearch Engineer to help us scale and optimize search infrastructure across multi- and single-tenant environments. You will be responsible for improving performance isolation, managing large-scale clusters (terabytes of data per tenant), and designing a scalable, resilient Elasticsearch/OpenSearch architecture to meet enterprise requirements.
Hiring specifics:
Candidates must be located outside of Russia
Preferred candidates in or near GMT+1 time zones
Minimum 1 years hands-on experience with Elasticsearch required
Minimum 1 years experience with major cloud platforms (AWS/GCP) required
English proficiency: Upper Intermediate (B2+) or higher required
Key Responsibilities:
Optimize and scale multi-tenant Elasticsearch/OpenSearch deployments
Design and implement sharding strategies for performance isolation
Implement backup, recovery, and cross-cluster replication strategies
Collaborate with platform and application teams on data ingestion and retrieval patterns, automated provisioning
Requirements:
3–5+ years managing Elasticsearch/OpenSearch in production at scale
Deep knowledge of cluster design, indexing strategies, and search performance tuning
Experience with AWS OpenSearch, Elasticsearch Service, and/or Elastic Cloud
Familiarity with Kubernetes-based deployments is a plus
Contacts: @natalia_kurland
Forwarded from Data Engineer Работа Вакансии
#вакансии #dataengineer #Spark #Scala3 #Jenkins #Senior
Друзья, всем привет!
Ищем Преподавателя и Проверяющего ДЗ на практический курс по Продвинутому Spark для действующих Data Engineer.
О нас:
Standard Data – проектируем и реализуем образовательные решения под заказ крупных компаний в сфере ИИ, дата инжиниринга и веб-разработки.
Кого ищем:
Преподавателя, которому интересно поучаствовать в качественном образовательном проекте. И Проверяющего ДЗ для проверки ДЗ и итоговых проектов. Обе роли можно совмещать, или взять только одну из них. Обе очень важны, ведь качественная ОС на ДЗ – одна из ключевых ценностей для слушателей.
Что нужно делать преподавателю:
• Проводить занятия, обычно по выбранным (2-4) темам из всего курса. Занятия в формате вебинаров 2 раза в неделю по 2 часа.
• Общаться в чате и отвечать на вопросы слушателей курса.
Проверяющему:
• Оперативно проверять домашние задания и давать развернутую развивающую обратную связь слушателям. Эта роль может быть самостоятельной, но можно и совмещать с преподаванием.
Что мы ждем от кандидата:
• От 3 - 5 лет в роли DE, опыт оптимизации высоконагруженных приложений/ETL процессов;
• Опыт работы со Scala 3; Spark; Kafka + Spark Structured Streaming; Hadoop; Oozie; Yarn.
Что мы предлагаем:
• Сумма оплаты возможна и больше, всё зависит от опыта, публикаций и результатов собеседования.
• За проведение одного двухчасового занятия – 10т.р.-20т.р. в зависимости от вашего опыта.
• За проверку ДЗ и итогового проекта – до 100т.р. в зависимости от количества человек в группе. Но тоже обсуждаемо – сойдемся, если вы хороший кандидат!
Ждем в нашей команде, пишите в тг, или сразу кидайте резюме: @Kate_HR_IT
____________________________________
За успешную рекомендацию по традиции бонус! Суммарно 25т.р.: при прохождении тестового 10 т.р., еще 15 т.р. после 2 месяцев хорошей работы. Если у Вас классный кандидат с большим опытом, то пишите в ЛС, согласуем другой бонус!
Друзья, всем привет!
Ищем Преподавателя и Проверяющего ДЗ на практический курс по Продвинутому Spark для действующих Data Engineer.
О нас:
Standard Data – проектируем и реализуем образовательные решения под заказ крупных компаний в сфере ИИ, дата инжиниринга и веб-разработки.
Кого ищем:
Преподавателя, которому интересно поучаствовать в качественном образовательном проекте. И Проверяющего ДЗ для проверки ДЗ и итоговых проектов. Обе роли можно совмещать, или взять только одну из них. Обе очень важны, ведь качественная ОС на ДЗ – одна из ключевых ценностей для слушателей.
Что нужно делать преподавателю:
• Проводить занятия, обычно по выбранным (2-4) темам из всего курса. Занятия в формате вебинаров 2 раза в неделю по 2 часа.
• Общаться в чате и отвечать на вопросы слушателей курса.
Проверяющему:
• Оперативно проверять домашние задания и давать развернутую развивающую обратную связь слушателям. Эта роль может быть самостоятельной, но можно и совмещать с преподаванием.
Что мы ждем от кандидата:
• От 3 - 5 лет в роли DE, опыт оптимизации высоконагруженных приложений/ETL процессов;
• Опыт работы со Scala 3; Spark; Kafka + Spark Structured Streaming; Hadoop; Oozie; Yarn.
Что мы предлагаем:
• Сумма оплаты возможна и больше, всё зависит от опыта, публикаций и результатов собеседования.
• За проведение одного двухчасового занятия – 10т.р.-20т.р. в зависимости от вашего опыта.
• За проверку ДЗ и итогового проекта – до 100т.р. в зависимости от количества человек в группе. Но тоже обсуждаемо – сойдемся, если вы хороший кандидат!
Ждем в нашей команде, пишите в тг, или сразу кидайте резюме: @Kate_HR_IT
____________________________________
За успешную рекомендацию по традиции бонус! Суммарно 25т.р.: при прохождении тестового 10 т.р., еще 15 т.р. после 2 месяцев хорошей работы. Если у Вас классный кандидат с большим опытом, то пишите в ЛС, согласуем другой бонус!
Forwarded from Data Engineer Работа Вакансии
#вакансия #удаленка #dataengineer #инженер #data
Название компании: deeplay
Формат работы: Удаленка
Занятость: Полная
Контакты: @hitommooo
Мы разрабатываем роботов-аниматоров для интеллектуальных карточных игр: покер, бридж, маджонг, преферанс. Аниматоры создают активность на игровой платформе, привлекая пользователей 🎲🧩
Ищем сильного Junior Data Engineer
🎯 Что по задачам?
- Поддержка уже существующих ETL-процессов
- Создание и поддержка новых дата-пайплайнов
- Работа с Clickhouse.
- Написание и оптимизация средних/сложных SQL запросов
- Анализ, подготовка и обработка данных
- Обеспечение качества данных
⚒️Наш стек: Python, Apache Airflow, СУБД ClickHouse, GitHub, Docker, Kubernetes.
🧑💻Наши ожидания
- Коммерческий опыт работы создания и поддержки ETL-процессов от 1 года
- Глубокий практический опыт разработки на Python (pandas, numpy)
- Высшее техническое образование (обязательно)
- Опыт работы с Apache Airflow, самостоятельное создание DAG
- Опыт работы с СУБД Clickhouse, написание средних/сложных и нетривиальных SQL-запросов
- Навык поиска оптимальных решений: умение работать в условиях неопределенности, формулировать вопросы и предлагать решения.
Будет плюсом:
- Опыт выведения в продакшен ML-пайплайнов и систем мониторинга;
- Опыт с Feature Engineering.
🍪Мы предлагаем
- Полностью удаленный формат работы
- График работы с гибким началом и окончанием рабочего дня
- Ежегодно проводим performance review, по итогу которых намечаем планы развития сотрудника
- Частичная компенсация расходов на медицинские услуги, бассейн, массаж
- Частичная компенсация расходов на спорт
- Материальная помощь к важным событиям и в сложных жизненных ситуациях
- Регулярные шаринги знаний, хакатоны, митапы, трансляции, турниры
- Изучение английского языка для всех желающих 2 раза в неделю
📩 Контакты: @hitommooo
Название компании: deeplay
Формат работы: Удаленка
Занятость: Полная
Контакты: @hitommooo
Мы разрабатываем роботов-аниматоров для интеллектуальных карточных игр: покер, бридж, маджонг, преферанс. Аниматоры создают активность на игровой платформе, привлекая пользователей 🎲🧩
Ищем сильного Junior Data Engineer
🎯 Что по задачам?
- Поддержка уже существующих ETL-процессов
- Создание и поддержка новых дата-пайплайнов
- Работа с Clickhouse.
- Написание и оптимизация средних/сложных SQL запросов
- Анализ, подготовка и обработка данных
- Обеспечение качества данных
⚒️Наш стек: Python, Apache Airflow, СУБД ClickHouse, GitHub, Docker, Kubernetes.
🧑💻Наши ожидания
- Коммерческий опыт работы создания и поддержки ETL-процессов от 1 года
- Глубокий практический опыт разработки на Python (pandas, numpy)
- Высшее техническое образование (обязательно)
- Опыт работы с Apache Airflow, самостоятельное создание DAG
- Опыт работы с СУБД Clickhouse, написание средних/сложных и нетривиальных SQL-запросов
- Навык поиска оптимальных решений: умение работать в условиях неопределенности, формулировать вопросы и предлагать решения.
Будет плюсом:
- Опыт выведения в продакшен ML-пайплайнов и систем мониторинга;
- Опыт с Feature Engineering.
🍪Мы предлагаем
- Полностью удаленный формат работы
- График работы с гибким началом и окончанием рабочего дня
- Ежегодно проводим performance review, по итогу которых намечаем планы развития сотрудника
- Частичная компенсация расходов на медицинские услуги, бассейн, массаж
- Частичная компенсация расходов на спорт
- Материальная помощь к важным событиям и в сложных жизненных ситуациях
- Регулярные шаринги знаний, хакатоны, митапы, трансляции, турниры
- Изучение английского языка для всех желающих 2 раза в неделю
📩 Контакты: @hitommooo
Forwarded from Data Engineer Работа Вакансии
#вакансия #удаленка #dataengineer #инженер #data
Название компании: deeplay
Формат работы: Удаленка
Занятость: Полная
Контакты: @hitommooo
Мы разрабатываем роботов-аниматоров для интеллектуальных карточных игр: покер, бридж, маджонг, преферанс. Аниматоры создают активность на игровой платформе, привлекая пользователей 🎲🧩
Ищем сильного Middle Data Engineer
🎯 Что по задачам?
- Поддержка уже существующих ETL-процессов
- Создание и поддержка новых дата-пайплайнов
- Работа с Clickhouse. Написание и оптимизация средних/сложных SQL запросов
- Анализ, подготовка и обработка данных
- Обеспечение качества данных
⚒️Наш стек: Python, Apache Airflow, СУБД ClickHouse, GitHub, Docker, Kubernetes.
🧑💻Наши ожидания
- Опыт создания и поддержки ETL-процессов от 3-х лет;
- Глубокий практический опыт разработки на Python (pandas, numpy);
- Высшее техническое или естественнонаучное образование;
- Опыт работы с Apache Airflow, самостоятельное создание DAG;
- Опыт работы с СУБД Clickhouse, написание средних/сложных и нетривиальных SQL-запросов;
- Умение самостоятельно брать задачи, по необходимости уточнять требования и доводить до финального результата;
- Навык поиска оптимальных решений: умение работать в условиях неопределенности, формулировать вопросы и предлагать решения.
Будет плюсом:
- Опыт выведения в продакшен ML-пайплайнов и систем мониторинга;
- Опыт с Feature Engineering.
🍪Мы предлагаем
- Полностью удаленный формат работы
- График работы с гибким началом и окончанием рабочего дня
- Ежегодно проводим performance review, по итогу которых намечаем планы развития сотрудника
- Частичная компенсация расходов на медицинские услуги, бассейн, массаж
- Частичная компенсация расходов на спорт
- Материальная помощь к важным событиям и в сложных жизненных ситуациях
- Регулярные шаринги знаний, хакатоны, митапы, трансляции, турниры
- Изучение английского языка для всех желающих 2 раза в неделю
📩 Контакты: @hitommooo
Название компании: deeplay
Формат работы: Удаленка
Занятость: Полная
Контакты: @hitommooo
Мы разрабатываем роботов-аниматоров для интеллектуальных карточных игр: покер, бридж, маджонг, преферанс. Аниматоры создают активность на игровой платформе, привлекая пользователей 🎲🧩
Ищем сильного Middle Data Engineer
🎯 Что по задачам?
- Поддержка уже существующих ETL-процессов
- Создание и поддержка новых дата-пайплайнов
- Работа с Clickhouse. Написание и оптимизация средних/сложных SQL запросов
- Анализ, подготовка и обработка данных
- Обеспечение качества данных
⚒️Наш стек: Python, Apache Airflow, СУБД ClickHouse, GitHub, Docker, Kubernetes.
🧑💻Наши ожидания
- Опыт создания и поддержки ETL-процессов от 3-х лет;
- Глубокий практический опыт разработки на Python (pandas, numpy);
- Высшее техническое или естественнонаучное образование;
- Опыт работы с Apache Airflow, самостоятельное создание DAG;
- Опыт работы с СУБД Clickhouse, написание средних/сложных и нетривиальных SQL-запросов;
- Умение самостоятельно брать задачи, по необходимости уточнять требования и доводить до финального результата;
- Навык поиска оптимальных решений: умение работать в условиях неопределенности, формулировать вопросы и предлагать решения.
Будет плюсом:
- Опыт выведения в продакшен ML-пайплайнов и систем мониторинга;
- Опыт с Feature Engineering.
🍪Мы предлагаем
- Полностью удаленный формат работы
- График работы с гибким началом и окончанием рабочего дня
- Ежегодно проводим performance review, по итогу которых намечаем планы развития сотрудника
- Частичная компенсация расходов на медицинские услуги, бассейн, массаж
- Частичная компенсация расходов на спорт
- Материальная помощь к важным событиям и в сложных жизненных ситуациях
- Регулярные шаринги знаний, хакатоны, митапы, трансляции, турниры
- Изучение английского языка для всех желающих 2 раза в неделю
📩 Контакты: @hitommooo
Forwarded from Rose
#hiring #dataengineer #BI #seniordataengineer #edtech #datalake
🔥 Senior Data Engineer
Тип занятости: full-time
Компания: школьный EdTech-продукт
Уровень: Senior
ЗП: готовы обсуждать в зависимости от опыта
Локация: РФ / удаленно без ограничений
Мы ищем сильного Data Engineer, который возьмет на себя ключевую роль в развитии аналитической платформы и BI-направления внутри компании.
Это позиция с высоким уровнем влияния на то, как устроена работа с данными: от взаимодействия с бизнесом до построения устойчивой data-инфраструктуры.
Команда развивает аналитическую платформу в EdTech-продукте, где данные напрямую используются для продуктовых решений и отчетности.
Что предстоит делать:
— развивать и поддерживать data-платформу (DWH + Data Lake);
— выстраивать и оптимизировать ETL/ELT-процессы и data pipelines;
— работать с большими объёмами данных для аналитики;
— трансформировать бизнес-запросы в технические решения;
— проектировать слои данных: staging, ODS, факты, измерения;
— улучшать качество данных (consistency, completeness, accuracy), внедрять мониторинг data quality и процессов;
— участвовать в развитии BI-слоя и витрин данных для отчетности;
— выступать связующим звеном между бизнесом и технической командой.
Что важно:
— опыт работы с данными от 4–6 лет;
— уверенный SQL и опыт оптимизации запросов;
— опыт работы с PostgreSQL и ClickHouse;
— Python для анализа данных и автоматизации ETL;
— опыт с Data Lake / Lakehouse или стеком Spark / Hive / Hadoop / Databricks;
— знание Airflow, dbt;
— понимание архитектуры DWH и жизненного цикла данных;
— уверенный опыт работы с BI-инструментами (Power BI / Tableau / DataLens);
— опыт взаимодействия с бизнес-заказчиками и участия в проработке требований;
— участие в проектировании архитектуры аналитических платформ
CV 📩 Контакт: @hello_techrecruiter
🔥 Senior Data Engineer
Тип занятости: full-time
Компания: школьный EdTech-продукт
Уровень: Senior
ЗП: готовы обсуждать в зависимости от опыта
Локация: РФ / удаленно без ограничений
Мы ищем сильного Data Engineer, который возьмет на себя ключевую роль в развитии аналитической платформы и BI-направления внутри компании.
Это позиция с высоким уровнем влияния на то, как устроена работа с данными: от взаимодействия с бизнесом до построения устойчивой data-инфраструктуры.
Команда развивает аналитическую платформу в EdTech-продукте, где данные напрямую используются для продуктовых решений и отчетности.
Что предстоит делать:
— развивать и поддерживать data-платформу (DWH + Data Lake);
— выстраивать и оптимизировать ETL/ELT-процессы и data pipelines;
— работать с большими объёмами данных для аналитики;
— трансформировать бизнес-запросы в технические решения;
— проектировать слои данных: staging, ODS, факты, измерения;
— улучшать качество данных (consistency, completeness, accuracy), внедрять мониторинг data quality и процессов;
— участвовать в развитии BI-слоя и витрин данных для отчетности;
— выступать связующим звеном между бизнесом и технической командой.
Что важно:
— опыт работы с данными от 4–6 лет;
— уверенный SQL и опыт оптимизации запросов;
— опыт работы с PostgreSQL и ClickHouse;
— Python для анализа данных и автоматизации ETL;
— опыт с Data Lake / Lakehouse или стеком Spark / Hive / Hadoop / Databricks;
— знание Airflow, dbt;
— понимание архитектуры DWH и жизненного цикла данных;
— уверенный опыт работы с BI-инструментами (Power BI / Tableau / DataLens);
— опыт взаимодействия с бизнес-заказчиками и участия в проработке требований;
— участие в проектировании архитектуры аналитических платформ
CV 📩 Контакт: @hello_techrecruiter