Инжиниринг Данных
23.7K subscribers
2.31K photos
69 videos
194 files
3.37K links
Делюсь новостями из мира аналитики и карьерными советами.

15 лет в Аналитике и Инжиниринге Данных, 10 лет в MAANG

🛠️ dataengineer.ru | 🏄‍♂️ Surfalytics.com

№5017813306

Реклама:
https://almond-rule-130.notion.site/1199f595f76a8030ba1be1e607c9a8ce
Download Telegram
Оказывается Claude remote часто заблокирован, поэтому если в рабочий день вам нужно быть на природе, Happy Engineering вам в помощь - удаленный терминал в Claude code.
❤‍🔥6💯1
Если кто есть в Salt Lake City, на родине мормонов, дайте знать, отправляюсь на конференцию.
🍌1
В Salt Lake City встретился всего лишь с одним подписчиком - Виктором.

Виктор рассказал, как работал электриком в маленьком городе в Беларуси и уехала в Польшу еще давно.

Электриком там было не устроиться, и с помощью datalearn он получил основы дата профессии стал работать в дата, потом выиграл green card и уже переехал 1,5 года назад в LA. Прокачался немного в Surfalytics и стал работать дата инженером.

Цены в LA высокие (если у вас одна работу на семью), поэтому они решили переехать в SLC, где у нас и состоялся data&drinks на космической конференции🥂
❤‍🔥134⚡18👨‍💻1
AWS купили DuckLabs. Интересно как это отразиться на продукте.

Хотя с другой стороны всем нравится 🦆 , но я никого не знаю, кто их использует серьезно.
❤‍🔥11🤷7⚡3😭3
Ещё один success case на Surfalytics.

Звучит всё просто и понятно, но это очень высокий стресс, когда вы теряете работу и у вас нет визы.

Поэтому поддержка сообщества — это важно, ну и в целях экономии времени и максимальной отдачи лучше учить то, что нужно. В данном случае это джентльменский (ну и дамский) набор инструментов: dbt, Snowflake, Airflow, Git, CLI + AI development.

В результате тяжёлой и последовательной работы можно добиться любой цели.

Моя задача — лишь направить в правильную сторону, и уже каждый решает, готов ли он вкалывать.
❤‍🔥51⚡11💯2
Продолжаю список благодарностей - мне сегодня чувак написал СПАСИБО за менторство в 2019 году! Это я почитал нашу переписку в LinkedIn. Я его реферил и в Амазон, и в Майкрософт, но не помогало. Они мне записывал года 3. Я его даже не видел. Он тоже был в списке “мертвых душ” Rock Your Data :)

В итоге живет в Калифорнии, работает в Мете. Вот что значит база хорошая!

PS эх забыл процент от зарплаты взять💰 Но позитивная энергия и искренняя благодарность дает намного больше!📈
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤‍🔥79🫡1
Сразу 2 документа на похожую тему:
• The New SDLC With Vibe Coding by Google
• The AI-Native SDLC playbook by Claude

Но чтобы их читать и понимать лучше начать с того, что каждый день использовать агентов в работе (Claude, Cursor и тп)
⚡8💯2😭1
Pollen Robotics выпустили новинку; У робота Mini Reachy (https://t.me/rockyourdata/5899) появился младший собрат Micro Duck, c ногами.
❤‍🔥1
Notion решил записать звонок на русском сегодня. Первую фразу он хорошо уловил - каникулы, дети дома….
🙊26🐳7💯5
From Vibe Coding to the AI Software Factory - статья Seattle Data Guy, в которой он описывает как инженерные команды эволюционируют в использовании AI и больших языковых моделей для разработки.

Автор описывает 5 уровней зрелости использования ИИ в командах — от хаотичных экспериментов до выстроенной «фабрики по производству ПО».

Уровень 1 — Гараж. Личные эксперименты и хобби-проекты, которые никогда не доходят до продакшена.

Уровень 2 — Верстак с макросами. Небольшие скрипты и мини-приложения, решающие конкретные задачи, но всё ещё далёкие от полноценного производства.

Уровень 3 — Мастерская. Команды начинают стандартизировать промпты, шаблоны и агентов, но это всё ещё лишь точечные улучшения.

Уровень 4 — Конвейер. Появляются повторяемые системы, стейт-машины, отслеживание метрик и токеномики. Можно реально измерять эффективность.

Уровень 5 — Фабрика ценности. Всё вышеперечисленное связывается с реальной бизнес-ценностью — иначе это просто «производство виджетов ради виджетов».


Максимум, что мне доводилось видеть для инжиниринга данных это между уровнем 2 и 3. Для разработки ПО, конечно же, это все двигается в сторону уровня 4, 5. Паттерны AI разработки уже вырисовываются и есть свои best practices - бери и делай, по ходу адаптируй.

Думая об уровнях и адаптации ИИ в компаниях, мне вспоминается мем “можно, а зачем?”

PS вообще SeattleDataGuy что-то сдулся🪦
Please open Telegram to view this post
VIEW IN TELEGRAM
❤‍🔥4⚡2🐳2
Так как тильда у нас умерла для Data Learn, я скопировал сайт на Github pages и почистил его.

https://datalearn.ru/

Чат в телеграмм теперь должен иметь нового админа с правами на добавление спам ботов.

PS
1) хотите быть активном в чате и помогать другим? Welcome.
2) хотите добавить бесплатный курс? Welcome.
3) хотите провести вебинар на всю аудиторию (20к в YouTube, 23k в tg)? Welcome.
❤‍🔥37💯2
Давно мечтал добавить сайт про музей прадеда, наконец старший сын подрос и научился пользоваться Claude Code (14 лет) и создал сайт, я по смыслу поправил и показал как подключить домен.


Сентябрь 1812 года. Москва оставлена, армия отступает, война выглядит проигранной. Через полтора месяца Наполеон побежит из России — и первый толчок к этому был дан здесь, на поле у Тарутина.

https://tarutino-museum.ru/

Фотограф Екатерина Советкина, она же снимала дата-завтрак в Т-Банк, где я рассказывал про дата инжиниринг.

PS сайт на Github Pages, и если они не работают в РФ, значит нужно поискать альтернативу.

Если кому-то нужно простой сайт для некоммерческой организации, пишите.
❤‍🔥37🐳4⚡1💯1🙈1
На SmallSat нашел единственную компания, которая создает дата платформа as a service для телеметрии. То есть ничего принципиально нового, но есть конкретный фокус на AeroSpace и у них уже есть серьезные клиенты.

Они объединили хранение, интеграцию и “бизнес” метрики + красивый UI.

То есть вместо того, чтобы самому строить в Elastic Search, Prometheus - предлагают готовый продукт.

Компания называется Sift. Claude Design добавил карточку с описанием.

https://www.siftstack.com/

PS если вы ex-SpaceX, то вам дадут миллионы инвестиций на любую идею📈
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
⚡3🦄1
Никогда не думал, что заведём кота. Я себя больше относил к собачникам. Но семья решила по-другому.

Возможно, у кота есть немного собачьих привычек — бегать, прыгать, а возможно, он ещё молодой.

Назвал я его Claude Кот. Когда никого нет дома, он лежит рядом и даёт добро на сжигание сотни тысяч токенов.
❤‍🔥197💯15⚡14
Diversity для LLMs

В одном стартапе, про который я недавно писал, все используют Claude Code.

Claude Code подключён к MCPs:
• dbt Cloud
• Snowflake
• Omni BI

С помощью Claude Desktop и Claude Code любой желающий (с доступом) может писать код, открывать PR. Как правило, всё это происходит в dbt или Omni.

То есть все поголовно стали Analytics Engineers. Даже если вы с компьютером на «вы», теперь даже с iPad'а можно заменить BI- и Analytics Engineer. Ведь основным языком программирования, как говорят, стал English. Даже если вы не согласны с этим (как и я), то ваш руководитель может считать по другому, а его мнение имеет бОльший вес, поэтому по факту будет так, как начальство скажет.

В отдельном посте я расскажу, как мы перешли к data model-oriented development (именно бизнес-модель данных, ER-диаграмма по Кимбаллу).

Так вот, суть проблемы такова: у всех Claude Code (не путать с Claude Котом из поста выше), и все работают не покладая рук. Коммит за коммитом, комментарий за комментарием и т. п. Агент пишет код, создаёт документацию, формирует описание PR, тестирует код. Другой человек с таким же агентом пытается код проверить, оставляет комментарии.

В последнее время у Claude прямо беда с написанием английского текста — он пишет размашисто и непонятно, оставляет большие и бесполезные комментарии в коде, вообще стал чудить. Также появилась новая фича — Watermark, которая осознанно заменяет слова на синонимы.

Поэтому работать всей командой, используя одни и те же модели, стало сложно. Я провёл эксперимент: стал использовать Cursor для проверки кода и текста. Оказалось, что Cursor понимает мою проблему и с удовольствием почистил PR, подсказал, где урезать код и текст, где не применились best practices и т. п. В целом могу сказать, что Cursor достаточно хорошо прокачался за последнее время — теперь у них есть Grok.

Таким образом, с одной моделью далеко не уедешь, если создаёшь серьёзный продукт. Всегда полезно добавить второе мнение от другой модели. Насколько я понимаю, в AI4SDLC это уже закладывается на входе, поэтому можно смело планировать использование нескольких моделей и агентов для повышения качества кода и документации и снижения когнитивной нагрузки на оператора AI. Мы же теперь операторы, а не инженеры?🎮
Please open Telegram to view this post
VIEW IN TELEGRAM
🙈14❤‍🔥7🌚2
Azure DP 750 или типа того.

Для работы нужно было сдать экзамен, пришлось попросить «крышевать», как результат 942 из 1000🤴.

Все вопросы были про Azure Databricks.

Хотите сдать также хорошо экзамен? Есть варианты -> дорого, быстро, надежно😎
Please open Telegram to view this post
VIEW IN TELEGRAM
⚡12❤‍🔥6💯2