Инжиниринг Данных
23.7K subscribers
2.31K photos
69 videos
194 files
3.37K links
Делюсь новостями из мира аналитики и карьерными советами.

15 лет в Аналитике и Инжиниринге Данных, 10 лет в MAANG

🛠️ dataengineer.ru | 🏄‍♂️ Surfalytics.com

№5017813306

Реклама:
https://almond-rule-130.notion.site/1199f595f76a8030ba1be1e607c9a8ce
Download Telegram
Claude добавил Mods и Dashboards.

Mods это прикольные плагины и с ними все понятно, особенно после видео.

А вот что касается Dashboards - тут интересней. BI сообщество испугалось, что Power BI, Tableau, Looker теперь будет заменено Claude Dashboards.

Claude Dashboards позволяет подключиться к источнику данных через MCP, и построит дашборд. А дальше можно уже с ним общаться. Дашборд может обновляться по расписанию.

Про моделирование данных и семантический слой они не упоминали.

И все это по цене токенов🍪🍪

Скоро будет Claude ETL, Claude BigData, Claude Data Engineering и пт. Менеджеры и stakeholders теперь смогу сказать вам - “Ну что так долго, я вот в Claude уже за 5 минут все сделал бы!?”
Please open Telegram to view this post
VIEW IN TELEGRAM
1🙈20⚡14🙉7🙊2🐳1
Я понял чем мы сейчас занимаемся из-за повышенной нагрузки и использования AI агентов - reckless (data) engineering (безрассудный инжиниринг данных).

😎
Please open Telegram to view this post
VIEW IN TELEGRAM
💯37👨‍💻5🙈2
https://github.com/excalidraw/excalidraw

Самый классный сервис для диаграмм и архитектур.

Работает локально и бесплатно.

А какой сервис используете вы?
❤‍🔥33💯7⚡1🐳1
Сравните модели GigaChat на своей задаче в GigaPlatform AI Studio

Это среда, в которой можно менять настройки моделей и проверять ответы на своих запросах.

В AI Studio можно:
• Сравнить ответы двух моделей на одном запросе.
• Сравнить ответы при разной температуре.
• Настроить системный промпт и проверить его на нескольких запросах.
• Сохранить промпт и историю диалога в JSON.

Пять рабочих сценариев разобрали в статье.
Попробуйте AI Studio бесплатно и без ВПН.
🍌17🌚9❤‍🔥2
Я настроил для себя Excalidraw локально и добавил MCP сервер, чтобы можно было делать такие картинки с одного промта.

Вы можете запустить у себя и вас появится нативно MacOS приложение: https://github.com/surfalytics/excalidraw-local/blob/main/README-RU.md (иснтрукуция на русском для MacOS). Может можно и для Windows добавить.


Я решил для себя использовать его как sticky notes пространство и в лучших практиках time management выгрузить из головы все-все задачки и отсортировать их.
❤‍🔥33⚡8🐳2
Dbt summit можно посмотреть on-demand https://www.getdbt.com/dbt-summit

PS Если вы хотите работать в дата аналитике и инжиниринге, станьте экспертом в dbt, это как раз тот случай, когда 20% дает 80% результата

Чтобы пользоваться dbt нужно
• уметь CLI
• уметь git (GitHub/GitLab)
• понимать CI/CD
• SQL прям быть экспертом
• документация и качество данных
• основы эффективности аналитических хранилищ данных
• основы ETL/ELT
• моделирование данных
• немного инфраструктуры, если будет вопрос как хостить dbt core
• оркестрация

Даже если вы не будете работать с dbt, эти все знания вам упростят жизнь и помогут понять как лучше строить решения.
💯18❤‍🔥8🤷‍♀2
ИИ-агент отвечает настолько точно, насколько готовы ваши данные. Как понять, что они готовы?

Разберёмся 23 октября в Москве на Fine Day 2026, офлайн-конференции о переходе от self-service BI к AI-native аналитике.

💡 В программе:
• дискуссия с руководителями аналитики ПИК, ДИКСИ, СИБУР и АвтоВАЗ: что нужно данным и командам для работы с ИИ
• миграция с Qlik и Power BI на FineBI, в том числе с помощью ИИ-агентов
• BI-система vs LLM: какие задачи кому отдавать, опыт Мосбиржи
демо FineBI 7.0 и ИИ-агентов Dora, можно принести свой сценарий

Участие бесплатное. После регистрации получите чек-лист «Готовы ли ваши данные к ИИ-агенту?» из 25 вопросов.

👉 Регистрация: https://clck.ru/3WUPuR

Реклама. ООО «ГлоуБайт Аналитические Решения». ИНН 9729274905. erid: 2RanykwYevw
Ну а если хотите кринжануть, можно делать Analytics Engineering на Microsoft Fabric.

PS новая книга вышла
🙈30🙉10🙊8🌚3
С вас идея, а Т-Банк за нее заплатит

В Т-Банке ищут трейдеров, разработчиков и тех, кто просто увлекается инвестициями. Зарегистрируйтесь на программу «Инвест. Премаркет» до 11 ноября. 

Ваши AI-сценарии для бизнеса смогут побороться за призовой фонд программы — 2 500 000 ₽. А сами идеи Т-Банк поможет масштабировать и сделать частью бизнеса.

Успейте подать заявку до 11 ноября
❤‍🔥20🙊6
Несмотря ни на что в конце ноября состоится Матемаркетинг 📈

Замечательный ивент с замечательными спикерами 🍪🍪

26–27 ноября в Москве в девятый раз пройдёт техническая конференция для аналитиков, performance-маркетологов и продакт-менеджеров. Онлайн-день — 17 ноября. Более 2000 участников, 100+ докладов и мастер-классов. Партнёры — VK, Avito Tech, Сбер, Magnit Tech, ИТ-холдинг Т1, ТехВилл, UIS, Лемана Тех, UX Rocket и другие компании.

Среди спикеров:
• Валерий Бабушкин (ВР): как прогресс мультимодальных моделей влияет на профессию DS/DA/ML
• Роман Бунин (Nebius): как измерить внедрение ИИ в большой компании
• Денис Пехтерев (Т-Банк): ИИ-операционная система руководителя из 17 ролей и 13 процедур
• Радослав Нейчев (МФТИ): рабочие сценарии для агентов на открытом стеке, без платных подписок
• Сергей Бажин (ИТ-холдинг Т1): агентный кодинг на десятки тысяч строк без ручной проверки

Отдельный блок программы посвящён доверию к результатам ИИ. Участники разберут, как тестировать ИИ-фичи с непредсказуемыми ответами, проверять работу агентов, выполняющих аналитические задачи, и готовить для них контекст — выстраивать семантический слой, оценивать полноту и качество информации. Маркетологи узнают, как измерять присутствие бренда в ответах языковых моделей в рамках GEO.

Между докладами — нетворкинг, карьерные консультации и активности на стендах партнёров.

Место: Москва, кластер «Ломоносов» МГУ, Раменский бульвар, 1.

Программа 🔫

Билеты и регистрация 🎮
Please open Telegram to view this post
VIEW IN TELEGRAM
❤‍🔥6🌚5⚡1🤷1
На этой неделе у нас случилась победа. Настоящая, с письмом на целый орг.

Сканер безопасности (с AI, конечно) нашёл две старые виртуальные машины.

Это были build-агенты, на которых когда-то собирали приложения. Ими давно никто не пользовался.

Дальше начинается Enterprise. Чтобы выключить две VM, понадобилось:

- Security нашли уязвимости и подключили Ops;
- три команды (Ops, разработка и Data & Analytics) оценили влияние и зависимости и разработали план безопасного вывода из эксплуатации;
- Ops выключили машины вечером. Окончательное удаление запланировано через две недели.

Итого четыре команды, план и поэтапный вывод ради двух виртуалок.

По отчёту сканера ушло 22 Critical, 123 High, 79 Medium и 8 Low.

Но главное здесь реакция руководства.

Директор SOC:

«Полностью согласен. В этом и красота управления уязвимостями: одно действие по исправлению устраняет множество экземпляров одной и той же уязвимости. Отличная работа, команда! Я ценю это взаимодействие и командную работу. Так держать.»


Вице-президент:

«Великолепно! Это потрясающая демонстрация командной работы и взаимодействия.»


Я тоже есть в списке благодарностей😃️️️️️️

Без такого Enterprise наши рабочие будни были бы серые и однообразные...
Please open Telegram to view this post
VIEW IN TELEGRAM
🌚47⚡18🙈16❤‍🔥8💯1
День из жизни ребенка 9 лет:

Сегодня не пошел в школу, чтобы пропустить урок «сексуального образования» и остался дома, чтобы с помощью Claude Code создавать игру/мир в Unreal Engine с помощью MCP.

Я показал как можно скачивать элементы из fab (каталог вещей) и добавлять их в мир и игру.

А что вы в 9 лет делали?✋
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤‍🔥91🌚9💯2👨‍💻1🦄1
DuckDB 2.0

⚡️ Async I/O: S3 в 2–3 раза быстрее
Раньше каждый поток по очереди качал данные и декодировал их, поэтому CPU простаивал, пока ждал сеть.

Теперь отдельный пул заранее подгружает row groups, а воркеры только декодируют. Запрос к 2,2 ГБ Parquet: 18,8 с → 7,7 с. Включено по умолчанию, в коде ничего менять не нужно (read_ahead_depth). Тысячи мелких файлов по 1 МБ это не спасёт, так что фундамент всё ещё важен.

🌳 Рекурсивные CTE: глубокие иерархии летают
Раньше на каждом шаге рекурсии таблица перечитывалась целиком. Теперь она читается один раз, а дальше идут точечные lookup'ы.

Обход истории из 20 000 коммитов: было от 1,8 до 16 с, стало 0,1 с. Хорошо подходит для git-истории, lineage, тредов и BOM. Для неглубокой оргструктуры разницы почти не будет.

📦 VARIANT вместо JSON
JSON-поля с постоянной структурой автоматически раскладываются в настоящие колонки (shredding), а остальное хранится бинарным хвостом.

Результат: в 2,7 раза меньше места, чем у JSON-строки, и фильтры примерно в 6 раз быстрее, почти как у типизированных колонок.

Есть нюанс: касты списков пока медленные, а поле, которое то число, то строка, в колонку не попадёт.
❤‍🔥27💯2⚡1
🧩 Antifraud Scientist @ Higgsfield AI

Higgsfield AI — самая быстрорастущая AI-компания в истории.
За 18 месяцев с запуска наша команда достигла $1B ARR, а 133 сотрудника уже стали долларовыми миллионерами. Ты можешь стать следующим.

Что предлагаем:
⚡ 6M+ генераций в день. Каждая мошенническая генерация расходует реальные GPU - твоя модель должна остановить абьюз до того, как потрачен compute
🎮 Противник адаптируется за дни: фермы из сотен аккаунтов, перепродажа доступа, автоматизированный сбор промобонусов. Здесь придётся строить систему, которая выдерживает эту гонку и успешно борется с лучшими фродерами мира.
💰 Конкурентная зарплата в USD + опционы (Goldman Sachs уже покупает акции ранних сотрудников)

Кого ищем:
- 3+ года в DS/ML, Python и SQL, модели в production
- Опыт работы с бустингами, дисбалансом классов и графами связей
- Умение оценивать модель через предотвращённые потери и стоимость ложных блокировок
- Готовность разбирать кейсы руками и собирать сигналы из сырых событий, платежей и поведения пользователей
- Самостоятельность: от первой гипотезы до работающего скоринга, мониторинга и обновления модели
- Готовность работать 6 дней в неделю. Так работают сильнейшие AI-команды. Рост до $1B ARR за 18 месяцев требует такого темпа. За год здесь получаешь опыт, на который в бигтехе уходят несколько лет.

📍 Офис в Алматы · 
     Полная поддержка с релокацией (финансовая + операционная)
💸 $100-350k в год + опционная программа

Подать заявку - @didarnrkr 🚀
Please open Telegram to view this post
VIEW IN TELEGRAM
🙈21🙊7❤‍🔥5⚡2🌚2🦄1
Очень классный концепт, когда обычный и скучный продукт для reverse etl решил пойти в бизнес и предложить маркетинговую автоматизацию.

Что логично, ведь они сидят поверх всех данных. Зачем отдавать данные в Marketo и тп, если можно самим все запускать и контролировать.

И теперь это AI для маркетологов😎
Please open Telegram to view this post
VIEW IN TELEGRAM
⚡3🤷‍♀1
Мне очень приятно, когда люди делаю транскрипцию собеседований и скидывают вопросы и задания в Surfalytics Discord.


Достаточно интересный экземпляр вакансии на Data Engineer + AI Engineer.

Судя по вопросам, нужно строить AI продукты и агентов, используя данные их хранилища данных.

Уверен, такого рода навыки будут востребованы и дадут больше преимущества.

PS Я сам глубоко не отвечу на эти вопросы.

Из AI у меня пока есть 2 сильных кейса:

1) Agenting Development: (Claude Code, Cursor, CodeRabbit, MCPs)

2) Conversational Analytics: Про это нужно будет более подробно написать, так как реально получился крутой продукт, где весь секрет кроется в классическом моделировании данных по Кибмалу (Бизнес -> Концептуальная модель -> Физическая модель таблиц фактов и измерений -> разработка -> AI Context для финального продукта)

2.1) Есть еще классный кейс по использованию AI_COMPLETE в Snowflake для задач Customer Service, чтобы парсить free text.

Такое же можно сделать с помощью Claude SDK или LangChain, но если данные в Snowflake, то намного проще обрабатывать данные на уровне строк.

Какие у вас AI кейсы?
❤‍🔥12🐳6⚡1💯1
https://www.rpdoyle.com/ Еще пример классного дизайна сайта
🙈3❤‍🔥2🐳1
Еще один товарищ пробился в Клуб 500.

PS Недавно узнал, что у блогера трансформатора тоже был клуб 500.

У меня 500 - это идеальная цель в прошлом для зарплаты в FAANG в долине. Сейчас там вроде уже млны платят=)
11⚡31🌚7🐳1