Инжиниринг Данных
23.7K subscribers
2.31K photos
69 videos
194 files
3.37K links
Делюсь новостями из мира аналитики и карьерными советами.

15 лет в Аналитике и Инжиниринге Данных, 10 лет в MAANG

🛠️ dataengineer.ru | 🏄‍♂️ Surfalytics.com

№5017813306

Реклама:
https://almond-rule-130.notion.site/1199f595f76a8030ba1be1e607c9a8ce
Download Telegram
Насколько быстро сейчас вендоры двигаются. Только появилась новая модель Jev, а Omni BI уже добавил фичи https://docs.omni.co/demos/2026/20260925

Omni сейчас прям очень hot! Но дорогой, как Sigma BI + токены есть

Я добавил еще настройки LLM в Omni. Они выдают доступ к подписке и отдельно платим.
⚡2🌚1
Народ жгет с AI🙌

PS Сегодня вечером можно выпить сидорка в Seattle на Lake Union, там сейчас проходи Seattle Space Week и я хочу сходить на их Symposium, и сессии для стартапов и AI Manufacturing.
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
😭10❤‍🔥7🌚6🙈1🙊1🤷1
Столько хотел рассказать, но не успел:) В след раз уже
2❤‍🔥57⚡18
💯22🤷9👨‍💻2
This media is not supported in your browser
VIEW IN TELEGRAM
Как меняется работа с данными в эпоху ИИ
➡️ Узнайте на GoCloud Tech 2026

15 октября в Москве пройдет ИТ-конференция от Cloud․ru для тех, кто создает технологии.

Отдельный трек будет посвящен данным и ML:
▶️метаслой данных и новые требования к Data Governance
▶️миграция корпоративных хранилищ
▶️методы вычислительных хранилищ в облаке
▶️защита чувствительных данных при работе с LLM

А еще вас ждут хардовые доклады про инфраструктуру и разработку, технозоны, воркшопы и много нетворкинга.

Количество офлайн-мест ограничено, успейте зарегистрироваться
Please open Telegram to view this post
VIEW IN TELEGRAM
Прагматичный инженер написал The state of the tech industry in 2026, в отчете он рассказал про основные изменения в индустрии, которые уже очевидны для многих “пользователей” и “клиентов” ИИ.

Структура доклада:
1. Скорость изменений. Темп перемен, в первую очередь из-за ИИ, беспрецедентный.
2. Что изменилось. Разработка уходит от ручного кодирования к автоматизированным процессам с несколькими ИИ-агентами. Число pull request'ов, созданных агентами, резко растёт.
3. Что сломалось. Появились проблемы с качеством и надёжностью кода. Привычное код-ревью перестаёт справляться с объёмом.
4. Что осталось прежним. Команды по-прежнему решают, выйдет ли проект. Планирование остаётся критичным, несмотря на ИИ.
5. Что дальше. Облачные кодинг-агенты станут доминирующими, а ИИ глубже встроится в процесс разработки. Команды и проекты станут меньше, а доля работы агентов вырастет.


Выводы
• Агенты ускоряют написание кода, но ответственность за результат остаётся на людях. Ревью, архитектура и надёжность важнее, чем раньше.
• Процессы придётся перестраивать: старое код-ревью не рассчитано на поток изменений от агентов. Нужны новые подходы к тестированию и контролю качества.
• Узкое место смещается от написания кода к его пониманию и проверке. Ценятся постановка задач и умение оценивать решения.
• Командная работа и планирование не устаревают. ИИ помогает исполнять, но не решает, что строить.
• Тренд на меньшие команды при большей роли агентов.

Мне как инженеру этот тренд очень заметен.

Недавно я ради эксперимента проанализировал количество коммитов и PR в GitHub: ИИ позволил нетехническим пользователям создавать PR так же быстро, как и техническим. Примерно такая же статистика, как все быстро пишут код, как на картинках.

Другой вопрос — их качество и суть.

Самый простой пример — новая dbt-модель. Вроде всё красиво и работает, но запрос выполняется в 30 раз дольше и читает много данных. Очевидно, ИИ сделал модель, но ему всё равно на стоимость Snowflake Compute.

Спустя полгода code review уже невозможно делать без агентов, потому что весь код написан агентом.

Совершенно не остаётся времени на coding art: подумать, сравнить, выбрать лучший вариант. Клик-клик, и вот уже новая фича.

Сейчас у меня на Mac 6 виртуальных рабочих столов, на каждом открыт терминал, а в каждом терминале по 4–6 сессий. Я прыгаю с одной на другую, а в промежутках — Slack и Zoom.
👨‍💻23🫡6💯5😭3⚡2🤷1
Из-за того, что бензин дорогой и не всегда доступен, пришлось добавь электро машину под цвет кота:)
❤‍🔥69⚡9👨‍💻1
This media is not supported in your browser
VIEW IN TELEGRAM
Насколько эффективно вы можете работать без ИИ агентов?

Больше фана тут @surfalytics
🌚29🙊14🙈8🍌1
Claude добавил Mods и Dashboards.

Mods это прикольные плагины и с ними все понятно, особенно после видео.

А вот что касается Dashboards - тут интересней. BI сообщество испугалось, что Power BI, Tableau, Looker теперь будет заменено Claude Dashboards.

Claude Dashboards позволяет подключиться к источнику данных через MCP, и построит дашборд. А дальше можно уже с ним общаться. Дашборд может обновляться по расписанию.

Про моделирование данных и семантический слой они не упоминали.

И все это по цене токенов🍪🍪

Скоро будет Claude ETL, Claude BigData, Claude Data Engineering и пт. Менеджеры и stakeholders теперь смогу сказать вам - “Ну что так долго, я вот в Claude уже за 5 минут все сделал бы!?”
Please open Telegram to view this post
VIEW IN TELEGRAM
1🙈20⚡14🙉7🙊2🐳1
Я понял чем мы сейчас занимаемся из-за повышенной нагрузки и использования AI агентов - reckless (data) engineering (безрассудный инжиниринг данных).

😎
Please open Telegram to view this post
VIEW IN TELEGRAM
💯37👨‍💻5🙈2
https://github.com/excalidraw/excalidraw

Самый классный сервис для диаграмм и архитектур.

Работает локально и бесплатно.

А какой сервис используете вы?
❤‍🔥33💯7⚡1🐳1
Сравните модели GigaChat на своей задаче в GigaPlatform AI Studio

Это среда, в которой можно менять настройки моделей и проверять ответы на своих запросах.

В AI Studio можно:
• Сравнить ответы двух моделей на одном запросе.
• Сравнить ответы при разной температуре.
• Настроить системный промпт и проверить его на нескольких запросах.
• Сохранить промпт и историю диалога в JSON.

Пять рабочих сценариев разобрали в статье.
Попробуйте AI Studio бесплатно и без ВПН.
🍌17🌚9❤‍🔥2
Я настроил для себя Excalidraw локально и добавил MCP сервер, чтобы можно было делать такие картинки с одного промта.

Вы можете запустить у себя и вас появится нативно MacOS приложение: https://github.com/surfalytics/excalidraw-local/blob/main/README-RU.md (иснтрукуция на русском для MacOS). Может можно и для Windows добавить.


Я решил для себя использовать его как sticky notes пространство и в лучших практиках time management выгрузить из головы все-все задачки и отсортировать их.
❤‍🔥33⚡8🐳2
Dbt summit можно посмотреть on-demand https://www.getdbt.com/dbt-summit

PS Если вы хотите работать в дата аналитике и инжиниринге, станьте экспертом в dbt, это как раз тот случай, когда 20% дает 80% результата

Чтобы пользоваться dbt нужно
• уметь CLI
• уметь git (GitHub/GitLab)
• понимать CI/CD
• SQL прям быть экспертом
• документация и качество данных
• основы эффективности аналитических хранилищ данных
• основы ETL/ELT
• моделирование данных
• немного инфраструктуры, если будет вопрос как хостить dbt core
• оркестрация

Даже если вы не будете работать с dbt, эти все знания вам упростят жизнь и помогут понять как лучше строить решения.
💯18❤‍🔥8🤷‍♀2