Mermaid-диаграммы
Наконец-то дошли руки поковыряться в mermaid-диаграммах, это что за имба вообще🔥 🔥 По сути это своего рода DaaS - Diagram as a Code, вы описываете диаграмму в нужном синтаксисе, потом она отрисовывается
Я полистала, что mermaid умеет вообще рисовать - там из прикольного: очень красивая диаграмма Ганта, граф с гит-коммитами, диаграмма Cynefin для принятия решений. Ну и всякие UML-ки, ER там тоже есть
Диаграммы имеют особый синтаксис, например, для ER-модели связи обозначаются вот так:
Напоминает корейский алфавит🇰🇷 А если нарисовать связь между двумя сущностями, то вообще получаются какие-то смайлики:
В общем, удобная и полезная штука - не нужно рисовать самому в draw.io или где-то еще, оно само красиво отрендерится💅
@data_engineerette
Наконец-то дошли руки поковыряться в mermaid-диаграммах, это что за имба вообще
Я полистала, что mermaid умеет вообще рисовать - там из прикольного: очень красивая диаграмма Ганта, граф с гит-коммитами, диаграмма Cynefin для принятия решений. Ну и всякие UML-ки, ER там тоже есть
Диаграммы имеют особый синтаксис, например, для ER-модели связи обозначаются вот так:
|o - 0/1
|| - 1
}o - >= 0
}| - >= 1
Напоминает корейский алфавит🇰🇷 А если нарисовать связь между двумя сущностями, то вообще получаются какие-то смайлики:
}o..o{
||--o{
|o--o{
В общем, удобная и полезная штука - не нужно рисовать самому в draw.io или где-то еще, оно само красиво отрендерится💅
@data_engineerette
Please open Telegram to view this post
VIEW IN TELEGRAM
Каким должен быть хороший DE?
Меня однажды спросили на собесе:
🤩 Какие 3 качества важны для де?
В том числе:
🤩 абстрактные качества, которые помогают в работе
🤩 собственные качества, сильные стороны
🤩 качества кандидата при собеседовании к вам в команду
Тогда я сильно замялась, потому что никогда мне такого вопроса не задавали и он прям заставил задуматься)) По-моему, я сказала что-то вроде:
🤩 широкий кругозор, чтобы можно было критически оценивать и предлагать технические решения
🤩 желание разобраться в проблеме и найти причину, поковыряться в логах, выяснить, почему упало
🤩 третье я капитально забыла🙂
А как бы вы ответили на этот вопрос?
@data_engineerette
Меня однажды спросили на собесе:
В том числе:
Тогда я сильно замялась, потому что никогда мне такого вопроса не задавали и он прям заставил задуматься)) По-моему, я сказала что-то вроде:
А как бы вы ответили на этот вопрос?
@data_engineerette
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥5
Исследование data-people
Тут ребята из DevCrowd запустили ежегодное исследование специалистов по работе с данными и попросили поделиться, чтобы охватить больше крутых спецов😎 😎
Отчеты у них получаются очень красивошные💅 Вот здесь можете глянуть за прошлый год: https://devcrowd.ru/ds25/
📒 Если не знакомы: DevCrowd делают независимые исследования IT-профессий уже несколько лет, за это время опросили больше 15 000 человек, отчеты выкладывают в открытый доступ
В этом году они смотрят на самое актуальное: что AI реально изменил в работе, где проходят границы в обязанностях между ролями, изменились ли наборы инструментов и задачи
✏️ Опрос анонимный и займет 12–15 минут. В ноябре ребята опубликуют отчет со всеми данными, а также списками рекомендованных телеграм-каналов и курсов, собранными из ответов участников
Опрос тут: https://survey.devcrowd.ru/data-2026
@data_engineerette
Тут ребята из DevCrowd запустили ежегодное исследование специалистов по работе с данными и попросили поделиться, чтобы охватить больше крутых спецов
Отчеты у них получаются очень красивошные💅 Вот здесь можете глянуть за прошлый год: https://devcrowd.ru/ds25/
В этом году они смотрят на самое актуальное: что AI реально изменил в работе, где проходят границы в обязанностях между ролями, изменились ли наборы инструментов и задачи
Опрос тут: https://survey.devcrowd.ru/data-2026
@data_engineerette
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥4 1
Как прошла SmartData 2026?
Я вот перечитываю свои впечатления от прошлого года и понимаю, что в этом году было совсем не так🥲 Вижу, что писала про
А в этом году не было ни одного доклада про StarRocks или Polars
📚 Доклады
Конфу объединили с DS/ML, поэтому значительная часть докладов сразу отсеклась. Часть была супер нишевой: про китайский CubeFS, внутрянку pgvector, утечки памяти на контроллерах😫
Поэтому лично мне понравились всего 2 доклада:
1️⃣ "Витрины данных на Data Lakehouse: маленькая история про большой переезд с Greenplum", Лемана Тех
Очень крутой чел рассказал про миграцию с Greenplum на dbt с yaml дагогенерацией, сэндбоксы, настройку ролевки, мониторинга, обслуживания. Пока они перенесли совсем немного и такое ощущение, что с многими проблемами просто не столкнулись
Вывод такой: витрины собираются дольше, функционала компонентов DLH не хватает, проблем и вопросов больше, чем решений и ответов
2️⃣ "Контракты данных: когда схема становится договором", Uzum Market
Практически весь доклад мне казалось, что они живут в сказочном мире с единорогами и розовыми пони, настолько так все классно работает. На самом деле очень прикольно: сначала заводятся контракты данных, потом генерятся DDL, конфиги развертывания, автоматически разворачиваются кафка-топики, выставляются MR. DQ, Lineage - тоже все есть
На дискуссия была жесткая заруба по поводу ломающих изменений в контракте
Мне от спикера так понравились две фразы, пусть они тут останутся:
❓ Что по AI?
Опишите красиво ваши метрики и данные, сделайте семантический слой - и будет классный контекст для ваших агентов (база)
📍 Новости и ссылочки
Статья: How Anthropic enables self-service data analytics with Claude
Дэш из доклада про ADBC (Arrow Database Connectivity)
Яндекс вписался в разработку китайского Greenplum - Cloudberry, в который они добавили поддержку Iceberg
Одни ребята переехали на StarRocks уже в 2023 году
В Магните в июне были сокращения
Мысль - сейчас многие делают статичные AI-дэши, а что если навайбкодить BI, который реальными запросами ходит в данные?
21.10.2026 выходит DuckDB 2.0
AWS купили DuckLabs
@data_engineerette
Я вот перечитываю свои впечатления от прошлого года и понимаю, что в этом году было совсем не так
Текущее состояние рынка даты
Presto/Trino + K8s + S3, Iceberg, StarRocks, Polars - движется сюда
А в этом году не было ни одного доклада про StarRocks или Polars
Конфу объединили с DS/ML, поэтому значительная часть докладов сразу отсеклась. Часть была супер нишевой: про китайский CubeFS, внутрянку pgvector, утечки памяти на контроллерах
Поэтому лично мне понравились всего 2 доклада:
Очень крутой чел рассказал про миграцию с Greenplum на dbt с yaml дагогенерацией, сэндбоксы, настройку ролевки, мониторинга, обслуживания. Пока они перенесли совсем немного и такое ощущение, что с многими проблемами просто не столкнулись
Вывод такой: витрины собираются дольше, функционала компонентов DLH не хватает, проблем и вопросов больше, чем решений и ответов
Практически весь доклад мне казалось, что они живут в сказочном мире с единорогами и розовыми пони, настолько так все классно работает. На самом деле очень прикольно: сначала заводятся контракты данных, потом генерятся DDL, конфиги развертывания, автоматически разворачиваются кафка-топики, выставляются MR. DQ, Lineage - тоже все есть
На дискуссия была жесткая заруба по поводу ломающих изменений в контракте
Мне от спикера так понравились две фразы, пусть они тут останутся:
россыпь SDK
data quality ассорти
Опишите красиво ваши метрики и данные, сделайте семантический слой - и будет классный контекст для ваших агентов (база)
Статья: How Anthropic enables self-service data analytics with Claude
Дэш из доклада про ADBC (Arrow Database Connectivity)
Яндекс вписался в разработку китайского Greenplum - Cloudberry, в который они добавили поддержку Iceberg
Одни ребята переехали на StarRocks уже в 2023 году
В Магните в июне были сокращения
Мысль - сейчас многие делают статичные AI-дэши, а что если навайбкодить BI, который реальными запросами ходит в данные?
21.10.2026 выходит DuckDB 2.0
AWS купили DuckLabs
@data_engineerette
Please open Telegram to view this post
VIEW IN TELEGRAM
❤8🔥8 4👍1
Lance
Недавно ковырялась в инструменте для обслуживания таблиц Apache Amoro и наткнулась на новый для меня термин - формат данных Lance
Lance - это колоночный формат хранения данных, созданный для AI/ML задач в лейкхаусе
⏰ Он появился еще в 2022 году, а первая стабильная версия вышла в декабре 2025. Примерно с того же времени нашла дискуссии в де сообществе. Разрабатывают ребята, которые создали LanceDB
Главные особенности:
🤩 оптимизация под AI и векторный поиск
🤩 доступ к данным за О(1)
🤩 в одной таблице можно хранить обычные данные + медиа + векторы
🤩 ядро написано на Rust
🤩 построен поверх Apache Arrow
🤩 time travel
🤩 acid
🤩 update/delete так же поддерживается
Lance позиционирует себя как замена Parquet, но к данным можно достучаться в 100 раз быстрее
Поддерживается много интеграций: DuckDB, Polars, Data Fusion, Spark, Doris, Trino, PyTorch, Flink. Но, например, Lance-Trino интеграция вышла из беты только 31 марта этого года, а Spark появился еще позднее, поэтому многие компоненты еще достаточно свежие
А помимо Lance, еще есть Nimble, Vortex, BtrBlocks, FastLanes😯
@data_engineerette
Недавно ковырялась в инструменте для обслуживания таблиц Apache Amoro и наткнулась на новый для меня термин - формат данных Lance
Lance - это колоночный формат хранения данных, созданный для AI/ML задач в лейкхаусе
Главные особенности:
Lance позиционирует себя как замена Parquet, но к данным можно достучаться в 100 раз быстрее
Поддерживается много интеграций: DuckDB, Polars, Data Fusion, Spark, Doris, Trino, PyTorch, Flink. Но, например, Lance-Trino интеграция вышла из беты только 31 марта этого года, а Spark появился еще позднее, поэтому многие компоненты еще достаточно свежие
А помимо Lance, еще есть Nimble, Vortex, BtrBlocks, FastLanes
@data_engineerette
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥10👍5 2
Ломаем Iceberg-таблицу🫠
Представьте, у вас есть айсберг таблица из 3 полей, которая управляется HMS. Вы удаляете из середины 2е поле, но вдруг появляется ошибка:
Несовместимые типы, но почему? Мы же знаем, что айсберг следит за своими полями по id, и если мы удалили поле с id=2, то поле с id=3 должно таким и остаться. Или нет?
Оказывается, у айсберга и hms разные механизмы эволюции схемы. С айсбергом мы правы, он следит за id самой колонки. Но вот hms проверяет схему на основе индекса🙂
Когда мы удалили столбец из середины, в hms все типы сдвинулись. И если поле2 было int, а поле3 - string, то после удаления hms думает, что мы кастуем string -> int, и падает
Сама оф дока айсберга выделяет этот момент как «Hive Catalog Limitation» и рекомендует отключить свойство:
Теперь эволюция схемы на совести айсберга, работаем дальше🙌
@data_engineerette
Представьте, у вас есть айсберг таблица из 3 полей, которая управляется HMS. Вы удаляете из середины 2е поле, но вдруг появляется ошибка:
The following columns have types incompatible with the existing columns in their respective positions
Несовместимые типы, но почему? Мы же знаем, что айсберг следит за своими полями по id, и если мы удалили поле с id=2, то поле с id=3 должно таким и остаться. Или нет?
Оказывается, у айсберга и hms разные механизмы эволюции схемы. С айсбергом мы правы, он следит за id самой колонки. Но вот hms проверяет схему на основе индекса
Когда мы удалили столбец из середины, в hms все типы сдвинулись. И если поле2 было int, а поле3 - string, то после удаления hms думает, что мы кастуем string -> int, и падает
Сама оф дока айсберга выделяет этот момент как «Hive Catalog Limitation» и рекомендует отключить свойство:
hive.metastore.disallow.incompatible.col.type.changes=falseТеперь эволюция схемы на совести айсберга, работаем дальше
@data_engineerette
Please open Telegram to view this post
VIEW IN TELEGRAM
Сходила на ТехноДень
Это бесплатная конфа от Selectel, прошла в кластере «Ломоносов». Народу было прям много - полный зал «Молекула» + полный зал «Атом» + люди возле стендов
Я пошла, потому что мне понравился пул докладов. Все доклады были разделены на 4 стрима: AI, Infra, Security и Data. Ну, вы понимаете, где я проторчала😁
Что послушала из докладов:
1️⃣ Lakehouse от Столото
Прикольный доклад прямо с циферками затрат. DLH - все по классике. Используют каталог CedrusData и сказали, что в нем есть крутые оптимизации
2️⃣ Новая дата платформа от Точка Банка
Как вы помните/знаете, они сидели на Oracle и Pentaho. Я несколько раз смотрела открытые вакансии на DE, и меня сильно смущал такой стек😁 Теперь они рассказали, как переехали на GP от вендора в первый раз в одном облаке, потом во второй раз в другом облаке, потом в третий раз на серверах Selectel😲
3️⃣ Аудиоаналитика в облаке от Fix Price
Они записывают аудио на кассах, транскрибируют и потом анализируют CR в покупку пакета и прочие метрики
Я так поняла, что все приглашенные компании - это именно пользователи их продуктов
Selectel тоже пошел в DLH и делает такую же платформу из S3, Trino, HMS, Iceberg, как и все другие🙄 Хотя еще 1-2 года назад не планировал. Пока ощущение, что сыровато и нет необходимых компонентов
Они также рассказали про крутую штуку aish - это агент для администрирования. Поставляется на их собственной SelectOS и умеет решать именно инфровые проблемы, на стендах можно было с ним поиграться
Плюс очень понравилась фраза на главном докладе:
🍜 Во время фуршета познакомилась с каким-то CoFounder из юр компании. Он рассказал, что они на сервисах Selectel используют иишку для генерации и проверки договоров, поиска по судебным кейсам. В общем, занятное применение, а то я не в курсе про жизнь вне айти😅
Если что, трансляции можно глянуть на сайте: https://techday.selectel.ru/
P.S. У вас не сформировалось в последнее время стойкое ощущение, что пора идти в Data Quality и Data Governance? Данные наверняка всегда будут косячные, и в этих областях нужен будет человек, который сможет нормально за все пояснить
@data_engineerette
Это бесплатная конфа от Selectel, прошла в кластере «Ломоносов». Народу было прям много - полный зал «Молекула» + полный зал «Атом» + люди возле стендов
Я пошла, потому что мне понравился пул докладов. Все доклады были разделены на 4 стрима: AI, Infra, Security и Data. Ну, вы понимаете, где я проторчала
Что послушала из докладов:
Прикольный доклад прямо с циферками затрат. DLH - все по классике. Используют каталог CedrusData и сказали, что в нем есть крутые оптимизации
Как вы помните/знаете, они сидели на Oracle и Pentaho. Я несколько раз смотрела открытые вакансии на DE, и меня сильно смущал такой стек
Они записывают аудио на кассах, транскрибируют и потом анализируют CR в покупку пакета и прочие метрики
Я так поняла, что все приглашенные компании - это именно пользователи их продуктов
Selectel тоже пошел в DLH и делает такую же платформу из S3, Trino, HMS, Iceberg, как и все другие
Они также рассказали про крутую штуку aish - это агент для администрирования. Поставляется на их собственной SelectOS и умеет решать именно инфровые проблемы, на стендах можно было с ним поиграться
Плюс очень понравилась фраза на главном докладе:
Мы экономим ваши будущие деньги😄
Если что, трансляции можно глянуть на сайте: https://techday.selectel.ru/
P.S. У вас не сформировалось в последнее время стойкое ощущение, что пора идти в Data Quality и Data Governance? Данные наверняка всегда будут косячные, и в этих областях нужен будет человек, который сможет нормально за все пояснить
@data_engineerette
Please open Telegram to view this post
VIEW IN TELEGRAM
👍14