Инжиниринг Данных
23.7K subscribers
2.31K photos
69 videos
194 files
3.37K links
Делюсь новостями из мира аналитики и карьерными советами.

15 лет в Аналитике и Инжиниринге Данных, 10 лет в MAANG

🛠️ dataengineer.ru | 🏄‍♂️ Surfalytics.com

№5017813306

Реклама:
https://almond-rule-130.notion.site/1199f595f76a8030ba1be1e607c9a8ce
Download Telegram
Классно, что есть бесплатные ресурсы, где можно посмотреть как использовать AI в работе. Даже если это не best practices, все равно можно узнать что-то новое, увидеть новые инструменты.

Уверен в AI Dev Tools Zoomcamp: AI-Native Software Engineering можно подчерпнуть знания. Я сам не проходил, но знаю Zoomcamps подход - уверен, что есть полезная информация., тем более бесплатно.
❤‍🔥19💯9⚡4
Каждый раз когде мне прилетает PR, а прилетает много и часто - у меня в голове играет эта песня - “постой, паровоз....кондуктор нажми на тормоза”

Надо бы им перевести🤬
Please open Telegram to view this post
VIEW IN TELEGRAM
❤‍🔥12⚡2🌚2
Ну и чтобы понять как выглядит средний PR от Product Manager кто еще не знал ни dbt, ни snowflake несколько месяцев назад.

Это еще цветочки))
🌚23🙈17🐳3
Оказывается Claude remote часто заблокирован, поэтому если в рабочий день вам нужно быть на природе, Happy Engineering вам в помощь - удаленный терминал в Claude code.
❤‍🔥6💯1
Если кто есть в Salt Lake City, на родине мормонов, дайте знать, отправляюсь на конференцию.
🍌1
В Salt Lake City встретился всего лишь с одним подписчиком - Виктором.

Виктор рассказал, как работал электриком в маленьком городе в Беларуси и уехала в Польшу еще давно.

Электриком там было не устроиться, и с помощью datalearn он получил основы дата профессии стал работать в дата, потом выиграл green card и уже переехал 1,5 года назад в LA. Прокачался немного в Surfalytics и стал работать дата инженером.

Цены в LA высокие (если у вас одна работу на семью), поэтому они решили переехать в SLC, где у нас и состоялся data&drinks на космической конференции🥂
❤‍🔥134⚡18👨‍💻1
AWS купили DuckLabs. Интересно как это отразиться на продукте.

Хотя с другой стороны всем нравится 🦆 , но я никого не знаю, кто их использует серьезно.
❤‍🔥11🤷7⚡3😭3
Ещё один success case на Surfalytics.

Звучит всё просто и понятно, но это очень высокий стресс, когда вы теряете работу и у вас нет визы.

Поэтому поддержка сообщества — это важно, ну и в целях экономии времени и максимальной отдачи лучше учить то, что нужно. В данном случае это джентльменский (ну и дамский) набор инструментов: dbt, Snowflake, Airflow, Git, CLI + AI development.

В результате тяжёлой и последовательной работы можно добиться любой цели.

Моя задача — лишь направить в правильную сторону, и уже каждый решает, готов ли он вкалывать.
❤‍🔥51⚡11💯2
Продолжаю список благодарностей - мне сегодня чувак написал СПАСИБО за менторство в 2019 году! Это я почитал нашу переписку в LinkedIn. Я его реферил и в Амазон, и в Майкрософт, но не помогало. Они мне записывал года 3. Я его даже не видел. Он тоже был в списке “мертвых душ” Rock Your Data :)

В итоге живет в Калифорнии, работает в Мете. Вот что значит база хорошая!

PS эх забыл процент от зарплаты взять💰 Но позитивная энергия и искренняя благодарность дает намного больше!📈
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤‍🔥79🫡1
Сразу 2 документа на похожую тему:
• The New SDLC With Vibe Coding by Google
• The AI-Native SDLC playbook by Claude

Но чтобы их читать и понимать лучше начать с того, что каждый день использовать агентов в работе (Claude, Cursor и тп)
⚡8💯2😭1
Pollen Robotics выпустили новинку; У робота Mini Reachy (https://t.me/rockyourdata/5899) появился младший собрат Micro Duck, c ногами.
❤‍🔥1
Notion решил записать звонок на русском сегодня. Первую фразу он хорошо уловил - каникулы, дети дома….
🙊26🐳7💯5
From Vibe Coding to the AI Software Factory - статья Seattle Data Guy, в которой он описывает как инженерные команды эволюционируют в использовании AI и больших языковых моделей для разработки.

Автор описывает 5 уровней зрелости использования ИИ в командах — от хаотичных экспериментов до выстроенной «фабрики по производству ПО».

Уровень 1 — Гараж. Личные эксперименты и хобби-проекты, которые никогда не доходят до продакшена.

Уровень 2 — Верстак с макросами. Небольшие скрипты и мини-приложения, решающие конкретные задачи, но всё ещё далёкие от полноценного производства.

Уровень 3 — Мастерская. Команды начинают стандартизировать промпты, шаблоны и агентов, но это всё ещё лишь точечные улучшения.

Уровень 4 — Конвейер. Появляются повторяемые системы, стейт-машины, отслеживание метрик и токеномики. Можно реально измерять эффективность.

Уровень 5 — Фабрика ценности. Всё вышеперечисленное связывается с реальной бизнес-ценностью — иначе это просто «производство виджетов ради виджетов».


Максимум, что мне доводилось видеть для инжиниринга данных это между уровнем 2 и 3. Для разработки ПО, конечно же, это все двигается в сторону уровня 4, 5. Паттерны AI разработки уже вырисовываются и есть свои best practices - бери и делай, по ходу адаптируй.

Думая об уровнях и адаптации ИИ в компаниях, мне вспоминается мем “можно, а зачем?”

PS вообще SeattleDataGuy что-то сдулся🪦
Please open Telegram to view this post
VIEW IN TELEGRAM
❤‍🔥4⚡2🐳2
Так как тильда у нас умерла для Data Learn, я скопировал сайт на Github pages и почистил его.

https://datalearn.ru/

Чат в телеграмм теперь должен иметь нового админа с правами на добавление спам ботов.

PS
1) хотите быть активном в чате и помогать другим? Welcome.
2) хотите добавить бесплатный курс? Welcome.
3) хотите провести вебинар на всю аудиторию (20к в YouTube, 23k в tg)? Welcome.
❤‍🔥37💯2
Давно мечтал добавить сайт про музей прадеда, наконец старший сын подрос и научился пользоваться Claude Code (14 лет) и создал сайт, я по смыслу поправил и показал как подключить домен.


Сентябрь 1812 года. Москва оставлена, армия отступает, война выглядит проигранной. Через полтора месяца Наполеон побежит из России — и первый толчок к этому был дан здесь, на поле у Тарутина.

https://tarutino-museum.ru/

Фотограф Екатерина Советкина, она же снимала дата-завтрак в Т-Банк, где я рассказывал про дата инжиниринг.

PS сайт на Github Pages, и если они не работают в РФ, значит нужно поискать альтернативу.

Если кому-то нужно простой сайт для некоммерческой организации, пишите.
❤‍🔥37🐳4⚡1💯1🙈1
На SmallSat нашел единственную компания, которая создает дата платформа as a service для телеметрии. То есть ничего принципиально нового, но есть конкретный фокус на AeroSpace и у них уже есть серьезные клиенты.

Они объединили хранение, интеграцию и “бизнес” метрики + красивый UI.

То есть вместо того, чтобы самому строить в Elastic Search, Prometheus - предлагают готовый продукт.

Компания называется Sift. Claude Design добавил карточку с описанием.

https://www.siftstack.com/

PS если вы ex-SpaceX, то вам дадут миллионы инвестиций на любую идею📈
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
⚡3🦄1