Инжиниринг Данных
23.7K subscribers
2.35K photos
73 videos
194 files
3.4K links
Делюсь новостями из мира аналитики и карьерными советами.

15 лет в Аналитике и Инжиниринге Данных, 10 лет в MAANG

🛠️ dataengineer.ru | 🏄‍♂️ Surfalytics.com

№5017813306

Реклама:
https://almond-rule-130.notion.site/1199f595f76a8030ba1be1e607c9a8ce
Download Telegram
Очень мне понравилось использовать AI для создания нужного и короткого контента, который именно для задач аналитики и инжиниринга данных.

И наконец я реализовал свой давний план - добавить упражнения к каждой главе The Data Warehouse Toolkit, Ralph Kimball.

И еще добавил отдельный курс по Dimensional Modelling. А в курс по Python добавил пару глав про работу с API, JSON, PyArrow, Polars, DuckDB.

PS Я очень доволен результатом, но это максимальны план Claude и он за день съел лимит.

Я не планирую добавлять очень много книг, только самый популярные и которые на слуху.

В комментариях скиньте хорошие. Если ссылку, то пишите как markdown/code или просто название и напишите, почему.
1❤‍🔥73⚡9🙉2💯1
Какую штуку сегодня попробовал. Claude много чего умеет, но русский у него так себе. Кстати это я прочитал в summary AI Engineering книги, которую Claude перевел. Будем догоняться отечественными моделями
🙂
Please open Telegram to view this post
VIEW IN TELEGRAM
🙈15😭6⚡2❤‍🔥1💯1👨‍💻1
Тема перевода оказалась намного глубже.

PS а я Яндекс все там верифицирует что-то и не работает 😃️
🍌5⚡4🙈3👨‍💻1
Но зато отлично считает $ в Snowflake.

Мы строим Conversational Analytics на Omni BI и я решил добавить модель данных и контекст для data infra - Snowflalke, Fivetran, Azure.
❤‍🔥5⚡3💯1
Добавил интересную и важную книгу про data quality (качество данных) https://dataengineer.ru/book-summaries/engineering/data-quality-fundamentals/

Так же добавил вложенные skills по улучшению русского языка. Выставил target по размеру книги на уровне 30% от размера и упор на работающие hands-on if applicable.

Из минусов за 3 дня съел токены у двух Claude Max подписок.
2❤‍🔥53
Добавил книгу Analytics Engineering with dbt https://dataengineer.ru/book-summaries/engineering/analytics-engineering-with-sql-and-dbt/01-analytics-engineering/

И теперь для каждой книги будет Epub.
❤‍🔥49⚡13🐳2
Одна из самых сложных задач в космических стартапах — это продажи.

Любой инвестор вас спросит первым делом про REVENUE и CUSTOMERS. Проблема космоса в том, что вам надо убедить людей инвестировать миллионы долларов в идею. Деньги пойдут на создание прототипа, который можно протестировать в космосе.

Очевидно, если основатели выходцы из SpaceX или других космических компаний, им дадут деньги более охотно.

Для космических стартапов очень простая валюта:

• Technology Readiness Level (TRL) — насколько зрелая ваша технология, от идеи на бумаге (TRL 1) до системы, которая уже отработала в реальной миссии (TRL 9). Software можно завайбкодить до TRL 4–5, а это уже серьёзный аргумент. С железом будет сложнее: там нужны испытания на стендах. Когда вы запустите свою поделку в космос и она там заработает, у вас уже будет TRL 7.
• Flight Heritage — это классный ништячок: ваш продукт побывал в космосе и доказал, что работает. Если мы говорим про hardware, то это обычно 2 года работы + несколько миллионов долларов.
• Letter of Intent, Memorandum of Understanding — это сигнал спроса, который сильно влияет на оценку вашей компании (valuation). Это просто письмо, в котором написано, что если ваша технология дойдёт до готового продукта, то мы у вас купим на X млн $. Юридически оно ни к чему не обязывает, но показывает инвестору, что рынок есть. Чем больше таких писем от серьёзных компаний, тем проще разговаривать с инвесторами.

Итого получаем джентльменский набор космического стартапа: TRL, Flight Heritage, LoI, MoU. Вот и всё. И есть ещё отличный бонус — гранты и господдержка. В Канаде, например, можно получить несколько миллионов (часто с условием софинансирования).

Очевидно, строить легче, чем продавать. Но именно продажи и go to market обеспечат вам успех.

Поэтому я решил взять свои AI-навыки и сразу строить платформу на Open Source LLMs, которая будет 24/7 парсить интернет, собирать информацию по компаниям, новостям, инвестициям, вакансиям, грантам и т.п., чтобы
а) собрать аудиторию
б) создать go to market продукт, с помощью которого мы сможем продавать

По сути, решая свою проблему, можно сделать побочный продукт, у которого будет своя ценность. Назвал я его The Space Sector. У нас уже есть GTM/Sales команда, теперь хочу попробовать с помощью AI усилить команду + отличные маркетинговые возможности, если появится аудитория.
❤‍🔥19🐳1
Claude Workflow, который делает детальный summary по книге.

С ним я переписал часть книг. Токенов есть очень много, но качество кратно возросло.

Добавил:

• Теперь целая книга Design Data Intensive Application 2nd release
• Analytics Engineering with SQL and dbt
• Redefining Data Engineering with AI (early release)
• Claude Code: Up and Running (early release)
• Claude AI Bible

В процессе добавить книги про Staff Engineer, Engineering Leadership, Managers и тп.
❤‍🔥63💯10⚡2
Добавил секцию про “лидерство”

The Manager’s Path: A Guide for Tech Leaders Navigating Growth and Change — книга Камиллы Фурнье (Camille Fournier), O’Reilly, 2017. Автор прошла путь от инженера до CTO в стартапе Rent the Runway и описала, что меняется на каждой ступени этого пути. В книге введение и девять глав: от роли подчинённого и ментора до старшего руководителя и культуры инженерной команды.

Staff Engineer: Leadership beyond the management track — книга Уилла Ларсона (Will Larson), вышла в 2021 году. Ларсон руководил инженерией в Stripe, Uber и Calm и собрал на сайте StaffEng интервью с инженерами уровня Staff+. Книга отвечает на вопрос, что делает инженер после уровня Senior, если он не хочет становиться менеджером. В книге две части: четыре главы о самой роли и большая глава с историями 14 инженеров. В нашем конспекте это восемь страниц.

The Staff Engineer’s Path: A Guide for Individual Contributors Navigating Growth and Change — книга Тани Рейли (Tanya Reilly), O’Reilly, 2022. Автор много лет работала Staff- и Principal-инженером в Google и Squarespace. Книга объясняет, чем занят технический лидер без подчинённых и как вырасти в эту роль. В ней введение и девять глав, разбитых на три части.

Engineering Leadership: The Hard Parts: Navigating Chaos to Build Teams That Deliver — книга Хуана Пабло Буритики (Juan Pablo Buriticá) и Джеймса Тернбулла (James Turnbull), O’Reilly, 2026. Оба автора руководили инженерными командами в стартапах и больших компаниях. Книга о том, как вести команду там, где нет порядка: нет владельцев, планы меняются, а люди устали. В книге 11 глав, на нашем сайте каждой главе отведена своя страница.

The Engineering Executive’s Primer: Impactful Technical Leadership — книга Уилла Ларсона (Will Larson), вышла в издательстве O’Reilly в 2024 году. Ларсон — CTO в Carta, до этого он руководил инженерией в Stripe, Uber и Calm. Эта книга — его практическое руководство для engineering executive, то есть для человека, который отвечает за всю инженерию компании. Она объясняет, как получить такую роль, как работать в ней и как из неё уйти. В книге 24 главы, и в нашем конспекте каждой главе соответствует одна страница.

Crafting Engineering Strategy: How Thoughtful Decisions Solve Complex Problems — книга Уилла Ларсона (Will Larson), O’Reilly, 2025. Автор был CTO в Carta и Calm, а до этого руководил инженерными командами в Stripe и Uber. Книга объясняет, как писать инженерную стратегию (engineering strategy), то есть как принимать продуманные решения о коде и инженерной организации. В ней 24 главы, разбитых на пять частей.
20❤‍🔥42🌚2🍌1
Open Source фреймворк для создания BI приложений через агентов AI

https://github.com/holistics/anfra
❤‍🔥25
В первый день недели сожрал все токены и работа стоит🧑‍🌾
Please open Telegram to view this post
VIEW IN TELEGRAM
🍌22😭20🫡7⚡2🦄2
Уже на низком старте
PS видел приколы:
1) V I если перевернуть будет AI
2) у мужика тату ВДВ 🇷🇺
Please open Telegram to view this post
VIEW IN TELEGRAM
1❤‍🔥16🌚9🙈3🦄1
Оказывается нетолько GTA VI, тут еще Антропик готов на IPO 19 ноября


Anthropic устанавливает цену первичного публичного размещения акций

Сегодня компания Anthropic, PBC установила цену первичного публичного размещения своих обыкновенных акций класса А на уровне 83,00 доллара США за акцию. Предложение состоит из 980 000 000 обыкновенных акций класса А, из которых 956 351 354 акции продаются компанией Anthropic, а 23 648 646 акций продаются определенными продающими акционерами. Anthropic не получит никаких доходов от продажи акций продающими акционерами.

Ожидается, что акции начнут торговаться на рынке Nasdaq Global Select Market 19 ноября 2026 года под тикером «ANT». Ожидается, что размещение будет закрыто 20 ноября 2026 года при условии выполнения обычных условий закрытия. Кроме того, Anthropic предоставила андеррайтерам 30-дневный опцион на покупку до 147 000 000 дополнительных обыкновенных акций класса А.


А вчера я написал про одну из версий, почему Nvidia CEO ушли (он топил за Open Source). Все-таки IPO антропика и open source вместе не уживаются. Надо больше токенов платных, чем бесплатных)
⚡4
Media is too big
VIEW IN TELEGRAM
Как обычно чуть не успел, но всех обнял!
2❤‍🔥33💯10⚡3