Инжиниринг Данных
23.7K subscribers
2.31K photos
69 videos
194 files
3.37K links
Делюсь новостями из мира аналитики и карьерными советами.

15 лет в Аналитике и Инжиниринге Данных, 10 лет в MAANG

🛠️ dataengineer.ru | 🏄‍♂️ Surfalytics.com

№5017813306

Реклама:
https://almond-rule-130.notion.site/1199f595f76a8030ba1be1e607c9a8ce
Download Telegram
После мы отправились в Париж. Туда должна была прилететь жена с двумя детьми. По плану у нас было взять машину и поехать по Европе, примерно как прошлым летом, только в другую сторону. Об этом расскажу в следующем посте.

В Париже я встретился с Сашей — она уже лет восемь живёт в Париже и последние три года работает в Databricks. Поговорили про проекты, про стоимость жизни в Париже. Как и от ребят из Лондона, я узнал, что в Париже открывается офис Anthropic, и народ из Databricks туда с удовольствием переходит. Такую зарплату, как в Anthropic и OpenAI, в Европе вряд ли кто-то предложит.

Далее мне прислали ссылку на местный митап по data science. Я туда добрался, но когда пришёл, оставшиеся посетители встали и ушли(буквально). Ничего я там не узнал.

Зато чуть позже встретился с Олесей из этой группы — она тоже рассказала про жизнь в Париже и свой PhD.

А вечером Олеся пришла со своим кавалером, и ещё пришёл Андрей — рассказал про свой опыт изучения аналитики и поиска работы без опыта (успешного). Андрей вообще молодец: сам давно понял, что две зарплаты лучше одной 😄

Возможно, 2–3 августа ещё раз повторим встречу на набережной 😉
❤‍🔥36⚡10💯4
Snowflake показал отчлиные результаты и стоки у них подросли. Без AI конечно не обошлось.

Для меня Snowflake все еще является лучшей платформой для хранилища данных. Не самой дешевой, но самой простой и понятной.

Про Databricks такого сказать не могу.
❤‍🔥9🤷6⚡4👨‍💻1
MotherDuck сделали классный сервис для своего демо, который анализирует данные с LLM
👨‍💻5
Товарищ скинул видео про Clickhouse и его основателя. Очень интересно и познавательно.

Как-то я его всего недооценивал на западном рыке. Очень интересный кейс для data observability - миграция c DataDog/Splunk, миграция хранилища данных Databricks/Snowflake на ClickHouse Cloud.

Вот пришел бы ко мне Clickhouse, я бы им помог завоевать рынок Северной Америки через сообщества и обучение. Я так много лет назад предлагал Teradata, когда им на пятки наступал Snowflake (они без меня классно разобрались, но сделали playbook для всех), но никто мне не ответил. Поэтому мой 14 летный сын знает, что такое Snowflake, но не знает, что такое Teradata🎮

Меня попросили развернуть проект хранилища данных, я предложил Snowflake + dbt core и все внутри Snowflake - dbt, alerts, orchestration. Для BI Metabase. Задача сделать максимально дешево. Но может быть стоит попробовать Clickhouse Cloud. Как он с dbt core?

Какие самые дешевые решения для оркестрации и BI?
Please open Telegram to view this post
VIEW IN TELEGRAM
❤‍🔥24🌚3🤷3⚡1💯1
Интересная локальная модель Gemma4-12B-Coder для Python, работает без интернета. Нужно 4.5 Gb VRAM.

Если вдруг вопрос про RAM vs VRAM:
RAM — рабочий стол обычного офисного работника (CPU)
VRAM — рабочий стол дизайнера с огромным монитором (GPU)


Пишите много на Python или изучаете его? Отличный вариант использовать бесплатного помощника, если компьютер позволяет
❤‍🔥11🌚3🐳1
Я получил новый MacBook и зарядил Claude Code скачать локальные модели на попробовать.
❤‍🔥23🙈5🫡3⚡1
Сегодня заценил новый skill от Claude. Как обычно Airflow Dag упал с ошибкой. Обычно я копирую ошибку в Claude Code и прошу его починить.

Но сегодня товарищ попробовал попросить Claude bot, и он сразу нашел проблему, владельца dag, source code изменения и тп. И сразу сделал PR.

Раньше мы такое делали как мини проект - запускали lambda, чтобы она все это делала и писала ответ и создавала PR. А теперь все из коробки.
❤‍🔥27😭9🐳6⚡3
Давно не слышал про хороший open source BI Metabase.

https://www.metabase.com/blog/security-update
❤‍🔥5🐳2
Рост зарплат DE в Канаде, да и в мире. Раньше в Канаде средняя вилка была 140-160к, а теперь уже почти все вакансии до 200к (в год gross). И это за старшего инженера.

В США будет конечно выше и уже в usd.

Как дела с зарплатами в РФ и Европе?
⚡12🙉8🫡6❤‍🔥2💯2🤷2
Lakehouse для аналитиков и инженеров данных

Приглашаем изучить популярный подход построения хранилищ данных Data Lakehouse c разделенным Compute и Storage на основе Iceberg и Trino. 

В программе курса:
• Современная архитектура аналитических систем от DWH и Data Lake до Lakehouse с разделением Compute и Storage на базе Apache Iceberg и Trino. 
• Iceberg: управление файлами, снимками, каталогами, схемами изменений и очисткой. 
• Практическое использование Iceberg Catalog, работа с кластером Trino (на Kubernetes), подключение данных на S3 и выполнение SQL/ Python-запросов.
• Работа с Iceberg+Trinо на больших масштабах: сложные запросы к датасету TPC-DS (2.8 млрд строк), интеграция с DBT, Apache Airflow, оценка производительность систем. 
• Построение пайплайнов, инструменты  для корректной поддержки, обновления и масштабирования Lakehouse-инфраструктуры на уровне предприятия. 

Кто мы: R&D-центр Devhands, наш канал.

Автор курса — Алексей Белозерский, CDO в inSales (Сбер 2B), ex: VK Tech, М.Видео, Эльдорадо

🗓 Старт курса: 27 августа

Изучить программу и записаться можно здесь.

Ждём вас!

Реклама. ИП Рыбак А.А. ИНН 771407709607 Erid: 2VtzquZf5с8
⚡3❤‍🔥1🐳1
Говорят навык кодить руками уже умирает. Писать код самому это уже недостаток. Понимать код, архитектуру и знать фундаментальные вещи это другое, которое необходимо. И теперь как-то надо это понимать и знать без hands-on опыта.

Молодежь, держись ☕️
Please open Telegram to view this post
VIEW IN TELEGRAM
😭58💯28🐳7🙈5🤷‍♀2🤷2
Наверно посмотрели на SpaceX, OpenAI, Anthropic и решили, что надо побольше капитализацию.

А еще databricks купил Electric - агенты рулят!
🌚7🫡5❤‍🔥2🙈2
🚀🚀🚀
📅 Сегодня в 19:00 по МСК будет вебинар про то, как агентный AI начинает менять привычный подход к BI и меняет бизнес-аналитику.

🎙 Спикеры: ребята из AI4BI.

Вебинар будет здесь (в канале) в онлайне

🔍 Описание:
Поговорим о том, как меняется сама работа с аналитикой: от ручных SQL-запросов и привычных дашбордов - к агентам, которые могут самостоятельно работать с данными, находить аномалии и помогать получать ответы быстрее.

Что разберем:

🔸 почему self-service BI не решил многие проблемы аналитики и куда сейчас движется Agentic BI

🔸 Open Source vs Enterprise: Vanna, DB-GPT, Superset - в сравнении с DataLens и Power BI

🔸 как может выглядеть агентный слой поверх Apache Superset + Trino + ClickHouse в закрытом контуре

🔸 реальный кейс внедрения в ритейле на 1500+ пользователей - логистика, склады, транспорт

🔸 экономика внедрения и окупаемость такого подхода на реальном кейсе

Думаю, особенно интересно будет тем, кто работает с BI, аналитическими платформами и AI-агентами или просто хочет понять, куда сейчас движется аналитика.

◼︎ Сегодня, 19:00 по Москве

Ссылки на ресурсы ребят:

🔗 Сайт → https://ai4bi.raftds.ru/
🔗 Канал → https://t.me/ai_archnadzor

🚀🚀🚀

#datalearn #Вебинар
Please open Telegram to view this post
VIEW IN TELEGRAM
❤‍🔥12🌚3🐳2😭1