Senior Python developer (Техлид)
#офис #гибрид #fulltime
Компания: МТС BigData
Зарплатная вилка: 300к - 350к
Локация: г. Москва, м. Технопарк

Проект: МТС Аналитика (центр RnD)
МТС стратегически развивает собственную рекламную платформу, добавляя в неё инструменты контейнеризации js-кода и аналитические сервисы, позволяющие оценить эффективность кампаний и моделировать конверсии при многоканальной атрибуции.

Пользователи сервисов - внешние клиенты.

Тебе предстоит работать в RnD-центре MTS Big Data, вместе с сильной командой разработчиков, дата-инженеров и datascience-экспертов.

Задачи:
В доступе рабочий прототип, предстоит его переосмыслить и реализовать лучшее решение.
Продукт находится на начальной стадии реализации, отсутствует lagacy code.
Необходимо сформировать архитектуру, доработать технологический стек и реализовать задачу с применениям best practice.
Под "капотом": тесты, code checkers, ci/cd, hi-load и возможности кратного масштабирования.

Обязательно:
· Опыт разработки на Python от 3 лет
· Опыт работы с веб-фреймворками (Flask/Django/FastAPI)
· Опыт работы с базами данных: PostgreSQL
· Опыт работы с Docker
· Опыт использования CI/CD инструментов: Gitlab CI/Jenkins
· Опыт написания unit и интеграционных тестов

Желательно:
· Опыт работы с другими языками: JS (ReactJS)
· Знакомы с технологиями Big Data: Hadoop, Hive, Spark
· Понимание принципов построения ETL/ELT процессов
· Знакомы с инструментами оркестрации пайплайнов: AirFlow, NiFi, etc
· Знакомы с NoSQL базами данных (Hbase)
· Знакомы с MPP-системами (Teradata, Greenplum, Vertica, etc)

Условия: зп+аванс, премии (20% от годового оклада), есть система ревью, ДМС со стоматологией, выдаем 16 MacBook Pro, hp или Dell на выбор и многое другое 😉

Откликнуться: @golyboglazayaaa_99 🙃

#job #Москва #вакансия #senior #TechLead #Pythonразработчик #BigData #Pythondeveloper

#DataEngineer #ContractPosition #Remote #SQL #BigData #FinancialData #Python #BigQ #Looker #Snowflake

Разыскиваем #DataEngineer на работу по контракту с крупной американской венчурной компанией.
Контракт на 6 месяцев с возможностью перезаключения договора.
Предпочтительна возможность работать в их часовых поясах, но возможны варианты.
Стек технологий: GCP (!), Snowflake, BigQ, Python, Looker
В идеале - full stack
Английский B2 и выше – условие обязательное.
Зарплата $5000 – 6500 NET
Для связи: https://t.me/Tary_bird, kivanova@braintch.com

Description of the Data Engineer contract position:
Location: Preferably San Francisco Bay Area, or remotely in the Pacific or Central Time zone.
Company:
A large venture company with assets of over $11 billion and employees in Austin, London, Menlo Park, and San Francisco.

What you will be doing:
As a data engineer, you will report to the head of data and analytics and help create the entire data structure and infrastructure supporting operations.

Responsibilities:
Design, create, and maintain the data infrastructure necessary for optimal extraction, transformation, and loading of data from various data sources using SQL, NoSQL, and big data technologies.
Develop and implement data collection systems that integrate various sources such as company proprietary data and third-party data sources, etc.
Create an automated process for collecting and visualizing user engagement data from CRM/UI.

What we are looking for:

Qualifications:
• Experience of at least 3 years as a data engineer or full stack in the field of data warehousing, data monitoring, and building and maintaining ETL pipelines.
• Valid experience with the Googl cloud platform (GCP).
• Deep experience with data pipeline and workflow management tools (e.g., Airflow).
• Solid knowledge and experience with database design, setup, and maintenance.
• Proven ability to work in highly dynamic environments with high product velocity.
• Strong proficiency in Python.
• Strong proficiency in SQL.
• Strong communication skills, both orally and in writing.

Bonus points:
• Experience in venture capital data operations/working with financial data.
• Familiarity with data visualization tools (e.g., Looker, Tableau, PowerBI, or similar), CRM (Affinity, Salesforce), automation tools (Zapier).
• Bachelor's or master's degree in computer science, database management, etc.

#Вакансии, #Hadoop, #Python, #Spark, #Airflow #BigData

Компания: ГК Иннотех + совместительство в ПАО ВТБ
Позиции: 1. Разработчик BigData, 2. Системный аналитик (Витрины данных)
Формат работы: удаленный на территории РФ, по желанию выход в офисы в Москве, СПб и др. городах РФ

В кластер витрин требуются разработчики и аналитики. Работа с витринами Розничного кредитного конвейера ВТБ. Миграции на импортозамещенное хранилище, Arenadata Hadoop, инструменты devops.

Позиция: Разработчик BigData
Специализация: Hadoop, ETL, Python/Spark /контейнеры
Обязанности: Выполнение функциональных обязанностей в рамках реализации проектов ВТБ:
- реализация интеграций в гетерогенной среде с помощью Python/Spark
- ETL
- Работа с Airflow, написание кастомных операторов, формирование дагов
- Оптимизация дагов
- Оптимизация существующего кода
- Базовые знания работы Kerberos
- Разработка и поддержка платформы исполнения моделей.
Требования Опыт реализации интеграции в гетерогенных средах
- Понимание и опыт работы со средствами экосистемы технологий Hadoop;
- Знание Python (Spark)
- Знание Apache Airflow
- Знание Apache Kafka
- Знание Docker
- Опыт решения ETL/data engineering задач
Приветствуется - Приветствуется опыт работы с REST сервисами
- Разработка микросервисов для внутренних инфраструктурных задач;
- Опыт работы с Grafana, разработка мониторинга на Grafana;
- Опыт построения Devops-инфраструктуры:
- знание и опыт администрирования Linux-систем;
- опыт работы с Openshift\Kubernetes;
- понимание концепций построения CI/CD, опыт проектирования и построения CI/CD pipeline, управление процессом сборки и развертывания ПО;
- опыт построения фреймворков с нуля


Позиция: Системный аналитик (Витрины данных)
Специализация Системный анализ
Обязанности - Сбор, анализ, формализация требований
- Подготовка технической документации
- Оценка трудоемкости работ
- Исследование источников данных
- Составление и доработка маппингов
- Построение прототипов витрин согласно бизнес-требованиям
- Проверка качества данных в прототипах
- Постановка задач разработчикам
- Участие в тестировании результатов
Требования - Опыт работы с хранилищами данных (DWH), витринами от одного года – факты, снежинки, звезды и т.д..
- Отличное знание SQL, большим плюсом будет опыт работы с Hadoop (Impala/Hive), Python
- Опыт разработки технической документации.
- Умение структурировать и описывать требования по их автоматизации,
- Умение профилировать источники данных, выявлять закономерности
- Участие в тестировании и в технической приемке разработанного функционала

Обсудить подробнее: @IvanZagrebin

#вакансия #Москва #Fulltime #Senior #ML #Highload #BigData
Вакансия: Senior MLOps
Компания: X-Labs AI
Вилка: 350 000 - 450 000 руб.

X-Labs AI — это команда, которая живет машинным обучением и нейронными сетями. Мы создаем и внедряем крутые решения, которые двигают границы возможного и вдохновляют на новые свершения. У нас уже есть линейка продуктов, которые влияют на развитие генеративного ИИ.

Приглашаем тебя стать частью нашей команды, где у каждого есть шанс воплотить свои идеи и создавать что-то по-настоящему важное. Давай вместе работать, придумывать новое и строить будущее ИИ!
P.S. Если ты знаешь, как оптимизировать инференс LLM, то тебе точно к нам 🙂


💻 Чем предстоит заниматься:
Разработкой MLOps-инфраструктуры для задач генерации текста, аудио и видео:
- Оптимизацией использования ресурсов кластера;
- Развертыванием моделей в продакшн;
- Внедрением и поддержкой инструментов отслеживания жизненного цикла моделей и версионирования артефактов (WandB, MLFlow и др.);
- Постепенным развитием MLOps-практик (эффективный инференс LLM, Diffusion Models).

✏️ Чего мы от тебя ждем:
- Опыт работы в качестве DevOps/MLOps от 1 года;
- Базовых навыков работы с Kubernetes (k8s) и готовности глубоко погружаться в разработку и поддержку сервисов в этой среде;
- Опыта работы с микросервсной архитектурой;
- Навыков работы с MLOps инструментами (ClearML/WandB/MLflow и т.п.) или готовности быстро их освоить;
- Опыта работы с CI/CD инструментами.

✨ Будет плюсом:
- Опыт работы с IaC;
- Опыт развертывания LLM в продакшн;
- Опыт оптимизации моделей.

❤️ Что мы предлагаем:
- Возможность развиваться в области MLOps с современными Gen AI моделями;
- Возможность поработать с большим высоконагруженным кластером;
- Работа с новейшими и передовыми архитектурами моделей;
- Сильную команду, с которой можно расти;
- Комфортный офис в Москва-Сити или в Минске;
- Гибкое начало рабочего дня;
- Sick days;
- ДМС;
- Корпоративную технику и все необходимое для работы.

Хочешь узнать подробнее? Пиши напрямую 🐭 @dzherry

#ETL, #data_engineer, #ML, #Highload #BigData #Fulltime
вилка: 300 000 – 450 000 руб.

XLabs AI — это команда, которая живет машинным обучением и нейронными сетями. Мы создаем и внедряем крутые решения, которые двигают границы возможного и вдохновляют на новые свершения. У нас уже есть линейка продуктов, которые влияют на развитие генеративного ИИ.

Приглашаем тебя стать частью нашей команды, где у каждого есть шанс воплотить свои идеи и создавать что-то по-настоящему важное. Давай вместе работать, придумывать новое и строить будущее ИИ!
P.S. Если ты работал с BigData и знаешь, что такое шардинг, то тебе точно к нам 🙂

Стек технологий: Python, MongoDB, Redis, S3, SQL, AirFlow, Git, Docker, K8s, dvc

💻 Чем предстоит заниматься:
- Разработка собственного Data Catalog;
- Разработка хранилища данных для обучения Gen AI моделей;
- Разработка и поддержка ETL процессов на Python и Spark с использованием популярных фреймворков (Airflow);
- Разработка дата-тестов для валидации данных;
- Работа с различными системами хранения (MongoDB, Redis, S3).

✏️ Чего мы от тебя ждем:
- Высоких навыков промышленной разработки на Python;
- Понимания основ ML и нейронных сетей;
- Опыта сбора и фильтрации данных для ML моделей (NLP, Video, Audio);
- Опыта работы с S3, AirFlow, dvc;
- Опыта выстраивания и оптимизации ETL-процессов;
- Готовности брать инициативу;
- Мотивируешься смелыми вызовами и нестандартными задачами.

✨ Будет плюсом:
- Опыт работы с большими объёмами данных (>10Tb)

❤️ Что мы предлагаем:
- Сильную команду, с которой можно расти;
- Работу над задачами, которые до тебя никто не решал;
- Возможность попробовать себя в разных модальностях (NLP, Video, Audio);
- Highload и своя инфраструктура;
- Комфортный офис в Москва-Сити или в Минске;
- Корпоративную технику и все необходимое для работы.
- Гибкое начало рабочего дня;
- Sick days;
- ДМС;

Хочешь узнать подробнее? Пиши напрямую 🐭 @dzherry

💐#Должность: Главный разработчик #Spark
Уровень: Senior
Формат работы: г. #Москва, улица Вавилова, 19. График гибрид
🌺Заработная плата: от 250 до 370 000 руб. на руки
Занятость: Полная
Компания: ПАО “Сбербанк”
Работодатель: ООО "Глобус-ИТ"

✅Команда. О проекте.

Мы молодая, амбициозная команда, занимающаяся разработкой #ETL-решений для Корпоративно-Инвестиционного Бизнеса (Департамент Глобальных Рынков) Сбера. В настоящее время идет активная разработка по требованиям Этапа 2 создания единого централизованного хранилища на платформе #Hadoop. Мы используем широкий спектр современных технологий: фрэймворк на основе Apache Spark, облачные технологии и микросервисы для создания ETL процессов

✅Ищем тех, кто готов:

Стоять у истоков нового перспективного направления -создание единого централизованного многослойного хранилища #BigData для всей экосистемы Сбера;
Разрабатывать абсолютно новые сервисы, которыми будут обрабатывать огромные массивы данных;
Глубоко погрузиться во все аспекты современных ИТ технологий Сбера (фронтальные и бэк системы, облачные технологии, интеграция с внешними и внутренними системами, Искусственный Интеллект и Большие Данные);
Работать в Agile командах и применять самые современные методы разработки;
Ставить амбициозные цели и достигать их.



✅Что мы ждем от кандидата:

Знание, понимание и опыт работы с #Apache #Spark (от 3 лет).
Опыт проектирования и разработки ETL процессов приложений с использованием Apache Spark;
Знание #Java 8;
Знание #SQL. Умение писать и оптимизировать запросы к БД.
Опыт проектирования DWH, DataVault
Опыт работы с Hadoop, #HDFS, Hive
Опыт проектирования корпоративных(enterprise) приложений, понимание принципов построения и работы высоконагруженных корпоративных приложений (от 5 лет)
Опыт проектирования и разработки приложений с использованием Spring, Spring Boot;
Уверенное владение технологиями SQL, Hadoop, REST, XML, JSON, HTTP;
Опыт проектирования и разработки клиент-серверных приложений;
Опыт написания модульных и интеграционных тестов (JUnit, Mockito), понимание принципов TDD;
Опыт организации командной работыс использованием jira, confluence, Maven, git, Jenkins, Bitbucket, Sonar(или другими), проведения кодревью.
Опыт применения и понимание основных шаблонов проектирования, принципов ООП, принципов построения ETL процессов, паттернов и принципов построения корпоративных приложений, паттернов и принципов построения микросервисной архитектуры;
Умение оптимизировать и тестировать код;
Умение вести деловую переписку;
Английский язык на уровне чтения технической документации.

✅Будет плюсом:
Опыт работы с ETL инструментами (Informatica PowerCenter, Microsoft SSIS, IBM DataStage и т.п.);
Опыт проектирования микросервисной архитектуры;
Знание других языков программирование (Scala, JavaScript, Kotlin, Python, …);
Опыт работы с #Базами Данных (Oracle, PostgeSQL, NoSQL);
Опыт работы с Apache #Kafka, IBM MQ;
Опыт работы с Tomсat, Jetty, WebSphere, Spring Boot;
Опыт работы с OpenShift(Kubernetes), Istio;
Опыт работы с Nginx;
Опыт управления командой разработки;


✅От нас:
● Трудоустройство по ТК РФ (обсуждаемо);
● Адаптивные бизнес-процессы внутри компании;
● Достаточная степень независимости в принятии решений;
● Отличная возможность вместе с профессиональной командой создавать продукты, которыми будут пользоваться миллионы людей;
● Расширенный ДМС;
● Скидки на обучение английскому языку;
● Частичная компенсация занятий спортом/тренажерного зала;
● Комфортабельное рабочее место, необходимое оборудование;
● Обучение за счет компании, участие в митапах.

Пишите @veroneko

Вот текст вакансии:


Компания: Т-Банк
Локация: Москва, Санкт-Петербург, Ростов-на-Дону, Минск, Ереван.

Привет!
Меня зовут Михаил, я руковожу командой Ingest в дата-платформе в Т-Банке. Наша команда ищет опытного Java разработчика с хорошим опытом в Apache Spark, который хочет работать над масштабными проектами обработки данных. Мы ежедневно обрабатываем более 7 ТБ информации из 1400+ топиков и доставляем данные для 5000+ таблиц. Сейчас мы в поиске человека с опытом работы с данными, который усилит нашу команду, что позволит нам достичь еще больших результатов.

Что нужно делать?

- Разрабатывать новые фичи для системы доставки данных.
- Проектировать и улучшать архитектуру системы.
- Решать нетривиальные задачи, связанные с хранением, мониторингом и созданием self-service инструментов.

Какие навыки нужны?
- Apache Spark
- Java/Scala/Kotlin
- Опыт работы с СУБД
- Понимание семантик доставки данных


Что тебя ждет?
- Работа над действительно масштабным проектом.
- Решение сложных и интересных задач.
- Возможность повлиять на архитектуру и развитие продукта.
- Дружный и профессиональный коллектив.
- Гибридный/удаленный формат работы.


Если ты готов к вызовам и хочешь работать с большими данными - откликайся!
Ссылка на вакансию https://www.tbank.ru/career/it/back-end-razrabotka/java-razrabotchik_data-platform/ #java #bigdata #spark #flink #dataengineering #vacancy #работа #вакансия
По всем вопросам обращайтесь ко мне (@demi_urg) или к Никите (@nryanov)