Если пропустили новости: Amazon покупает DuckLabs — команду, которая стоит за DuckDB. И кажется, это довольно прозрачный намёк на то, куда всё движется
DuckDB уже отлично работает напрямую с данными в S3, а теперь логично ожидать, что эта связка будет развиваться ещё активнее.
И очень вовремя мы на днях выпустили большой разбор DuckDB + Apache Iceberg.
Почему эта пара интересна:
— данные лежат в S3 в открытом формате
— Iceberg отвечает за таблицы, версии и каталог
— DuckDB позволяет запускать SQL прямо поверх них
— а для многих задач вообще не нужен отдельный кластер
В статье разбираем не только красивую сторону, но и реальные ограничения: запись, производительность, обслуживание таблиц и ситуации, когда вместо DuckDB всё-таки лучше взять Trino, Spark или Athena.
Кажется, это уже не просто интересный эксперимент. За этим будущее.
https://subquery.ru/blog/duckdb-iceberg
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥8⚡2🤩1
— А как ты это посчитал?
— Сейчас покажу…
ищет SQL
пытается вспомнить, какой CSV был финальным
открывает Python
понимает, что график строился вообще в другом файле
— В общем, поверьте, там всё правильно 😅
Потому что одно дело — получить результат. Другое — через неделю восстановить весь путь от запроса до графика.
#буднианалитика
🗿4😎4👨💻3👀3
Уже убедили вас, что семантический слой нужен?😏
Мы рассказывали, для чего он, как помогает ИИ не выдумывать метрики и как с его помощью ускорять аналитику.
Следующий логичный вопрос: а какой семантический слой выбрать?
Мы разобрали 9 решений, которые стоит рассматривать в 2026 году: dbt Semantic Layer, Cube, AtScale, Snowflake Semantic Views, Databricks Metric Views, Looker, GoodData, MicroStrategy ONE и Atlan.
И разделили их на четыре категории — потому что под словами «семантический слой» сегодня скрываются довольно разные инструменты.
Внутри — плюсы, минусы, примеры моделей и сравнительная таблица. А главное — что выбирать именно под ваш сценарий.
👉 👉 👉 Какой семантический слой выбрать
А какой используете вы?👀
Мы рассказывали, для чего он, как помогает ИИ не выдумывать метрики и как с его помощью ускорять аналитику.
Следующий логичный вопрос: а какой семантический слой выбрать?
Мы разобрали 9 решений, которые стоит рассматривать в 2026 году: dbt Semantic Layer, Cube, AtScale, Snowflake Semantic Views, Databricks Metric Views, Looker, GoodData, MicroStrategy ONE и Atlan.
И разделили их на четыре категории — потому что под словами «семантический слой» сегодня скрываются довольно разные инструменты.
Внутри — плюсы, минусы, примеры моделей и сравнительная таблица. А главное — что выбирать именно под ваш сценарий.
Спойлер: лучшего семантического слоя нет. Есть тот, который подходит вашему стеку и задачам.
А какой используете вы?
Please open Telegram to view this post
VIEW IN TELEGRAM
❤4🙏3👏2🔥1😎1
🏞️ Google показал, как должен работать современный лейкхаус
В июле Google представил Borderless Lakehouse — архитектуру на Apache Iceberg, которая объединяет каталоги AWS, Snowflake и Databricks, позволяет разным движкам работать с одними таблицами и автоматически оптимизирует хранение. Следом появился фреймворк из 6 слоёв оптимизации Iceberg.
Производительность складывается сразу из нескольких уровней:
— файлов и их раскладки;
— метаданных;
— обработки изменений данных;
— сортировки и кластеризации;
— модели исполнения;
— того, насколько хорошо движок вообще понимает Iceberg.
А сверху появляется ещё один важный слой — управление всей этой системой: обслуживание таблиц, наблюдаемость, маршрутизация запросов и работа ИИ-агентов.
👉 Читать про лейкхаус как у Google: шесть слоев оптимизации 👈
Очень рекомендуем сохранить. Кажется, это одна из тех статей, к которым мы ещё не раз будем возвращаться
В июле Google представил Borderless Lakehouse — архитектуру на Apache Iceberg, которая объединяет каталоги AWS, Snowflake и Databricks, позволяет разным движкам работать с одними таблицами и автоматически оптимизирует хранение. Следом появился фреймворк из 6 слоёв оптимизации Iceberg.
Производительность складывается сразу из нескольких уровней:
— файлов и их раскладки;
— метаданных;
— обработки изменений данных;
— сортировки и кластеризации;
— модели исполнения;
— того, насколько хорошо движок вообще понимает Iceberg.
А сверху появляется ещё один важный слой — управление всей этой системой: обслуживание таблиц, наблюдаемость, маршрутизация запросов и работа ИИ-агентов.
В статье — не просто архитектура Google, а набор принципов, которые можно применять в открытом лейкхаусе с разными движками и облаками.
Очень рекомендуем сохранить. Кажется, это одна из тех статей, к которым мы ещё не раз будем возвращаться
Please open Telegram to view this post
VIEW IN TELEGRAM
🤩4🙏3👀2🔥1
Жалобы: запросы стали выполняться дольше.
Данных больше не стало.
Кластер жив.
В приложении ничего не меняли.
Что ж, посмотрим пациента 👨⚕️
Чаще всего причина одна из пяти:
— слишком много мелких файлов;
— неправильная сортировка;
— раздутые манифесты;
— накопившиеся старые снапшоты;
— партиции, которые больше не соответствуют реальным запросам.
В новой статье проводим полную диспансеризацию Iceberg-таблицы:
— на какие симптомы смотреть;
— как подтвердить диагноз SQL-запросом;
— как лечить;
— как проверить, что лечение помогло.
А в конце — диагностический чек-лист и скрипт обслуживания.
https://subquery.ru/blog/iceberg-queries-speedup
Сохраняйте. Даже если у вашего Iceberg пока ничего не болит.
Please open Telegram to view this post
VIEW IN TELEGRAM
👍5⚡3❤3
Очень хочется рассказать, над чем работаем уже продолжительное время, и я решил не сдерживаться.🤭
Основной модуль в нашем сервисе - 🟠dbt. Он позволяет целым командам на регулярной основе перерабатывать большие массивы данных, и сейчас под управлением SubQuery находится несколько сотен терабайт.
Но какое вам до этого дело, правильно?)🤷
Для работы с dbt нужны данные и субд, которая их хранит и обрабатывает. Мы прекрасно понимаем, что это значимое препятствие для работы с сервисом😥. И вот скриншот закрывает первый вопрос - регулярные поставки данных.
Долго думали, как это правильно организовать, чтобы и масштабировалось, и селф-сервис присутствовал с кастомизациями, и пропускная способность высокая для больших ребят, и закрывались как адхоки, так и крон-задачи.. придумали😉. Наверняка, позже будет статья на хабре об архитектуре решения, а пока гоняем внутри и готовим к публичному тестированию.
Чем отличается?
– мы в первую очередь ориентируемся на data специалистов, так что ожидайте упор на сырьё
– не просим креды от вашей СУБД, но и не лочим данные у себя, об этом позже
– предположу, что у нас самый большой в рунете опыт работы с маркетинговыми источниками - свыше сотни интеграций за плечами
– будут бесплатные квоты, не сомневайтесь. Коммьюнити 💚
Когда ждать?
Надеюсь успеть до релиза GTA 🤣
Основной модуль в нашем сервисе - 🟠dbt. Он позволяет целым командам на регулярной основе перерабатывать большие массивы данных, и сейчас под управлением SubQuery находится несколько сотен терабайт.
Но какое вам до этого дело, правильно?)🤷
Для работы с dbt нужны данные и субд, которая их хранит и обрабатывает. Мы прекрасно понимаем, что это значимое препятствие для работы с сервисом😥. И вот скриншот закрывает первый вопрос - регулярные поставки данных.
Долго думали, как это правильно организовать, чтобы и масштабировалось, и селф-сервис присутствовал с кастомизациями, и пропускная способность высокая для больших ребят, и закрывались как адхоки, так и крон-задачи.. придумали😉. Наверняка, позже будет статья на хабре об архитектуре решения, а пока гоняем внутри и готовим к публичному тестированию.
Чем отличается?
– мы в первую очередь ориентируемся на data специалистов, так что ожидайте упор на сырьё
– не просим креды от вашей СУБД, но и не лочим данные у себя, об этом позже
– предположу, что у нас самый большой в рунете опыт работы с маркетинговыми источниками - свыше сотни интеграций за плечами
– будут бесплатные квоты, не сомневайтесь. Коммьюнити 💚
Когда ждать?
Надеюсь успеть до релиза GTA 🤣
🔥5🤩5❤1😎1
🏴☠️ АРРР! Гарпун мне в пандас, опять моё золото на дне!!!
С днем пирата 😉 Глядите в оба, аналитики 🤣
😁9❤2💯2
А ещё персональные данные клиентов? Продажи других регионов? Финансовые показатели?
Когда таблиц сто, пользователей триста, а доступы годами выдавались «на всякий случай», ответить на этот вопрос становится неожиданно сложно. А параллельно маркетинг, финансы и продажи могут считать одну и ту же выручку тремя разными способами.
Это как раз задача Data Governance — и семантический слой здесь нужен не только для единой логики метрик.
Он может стать единой точкой, где определяется:
— кто отвечает за конкретную метрику и как она считается;
— какие строки доступны пользователю — RLS;
— какие колонки он вообще может видеть — CLS;
— какие правила доступа применяются ко всем отчётам и запросам.
В новой статье разбираем всё это на практических примерах с Cube и в конце даём план внедрения — от инвентаризации метрик до матрицы доступов.
Читать про семантический слой и Governance: порядок и права доступа
Потому что «кажется, у него не должно быть доступа» — не лучшая политика безопасности 😅
Please open Telegram to view this post
VIEW IN TELEGRAM
👀4🔥2👨💻2👎1
Но для успеха помимо расчета метрик у сущностей нужно ещё понимать связи между этими сущностями. За эту часть и отвечает онтология, а без неё LLM будет пытаться угадать на основе своих знаний из интернета.
Если семантический слой — это словарь;
то онтология — словарь + связи между понятиями.
Именно эти связи дают ИИ контекст бизнеса и позволяют отвечать уже не только на вопрос «сколько», но и разбираться в «почему»и «как это связано».
В новой статье разбираемся:
— чем онтология отличается от семантического слоя и модели данных;
— зачем она нужна ИИ-агентам;
— как выглядит на реальном бизнес-примере;
— что такое RDF и OWL и нужны ли они вам вообще;
— как начать строить свою онтологию без огромного проекта на полгода.
ЧИТАТЬ ТУТ⬇️
https://subquery.ru/blog/semantic-layer/what-is-ontology
И да, там есть прекрасная аналогия с сыром, из которого ИИ пытается сделать обратно молоко 🧀
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥4👀4🗿3
Двести таблиц лежат рядом. Где сырые данные, где очищенные, а что уже можно спокойно брать в отчёт — никто точно не помнит. Пора раскладывать данные по слоям.
В новой статье разбираемся:
— зачем вообще делить DWH на слои;
— чем Staging → Core → Витрины отличается от Bronze → Silver → Gold;
— где должны жить сырые данные, бизнес-логика и готовые метрики;
— почему тесты нужны на каждом слое;
— и на какие архитектурные грабли наступают чаще всего.
Спойлер: семь слоёв там, где нужны три, — тоже не лучшая архитектура.👉 Прочитать подробнее можно по ссылке:
https://subquery.ru/blog/data-warehouse-layering
А сколько слоёв в вашем хранилище?
Please open Telegram to view this post
VIEW IN TELEGRAM
❤2👨💻2👀2
Представьте: в одной вы храните все вещи. В другой — работаете. А между ними каждый день перевозите коробки. Звучит абсурдно?
А теперь замените квартиры на Data Lake и DWH, а коробки — на данные. Узнаёте свою архитектуру?
А что, если хранить данные и работать с ними можно в одном месте? Именно на этом строится идея лейкхауса.
Данные хранятся в S3, Apache Iceberg обеспечивает транзакции и управление таблицами, а Spark, Trino и DuckDB работают с ними без необходимости создавать отдельную копию под каждый движок.
Но есть нюанс.
Построить лейкхаус — полдела. Не дать ему превратиться в свалку — вот настоящее искусство.
Мелкие файлы, разросшиеся метаданные, старые снапшоты… Без обслуживания даже красивая архитектура начинает тормозить и дорожать.
В статье мы рассказали про путь от устройства архитектуры до её эксплуатации, оптимизации затрат и подключения ИИ-агентов.
Меньше переездов, больше аналитики. И никаких коробок посреди комнаты.
Please open Telegram to view this post
VIEW IN TELEGRAM
❤5🔥3👀3
This media is not supported in your browser
VIEW IN TELEGRAM
Объявляем сезон охоты на инсайты открытым! Вооружайтесь SQL и Python. Исследуйте данные, проверяйте гипотезы и ищите то, чего никто раньше не замечал.
Теперь вы можете проводить полноценные исследования данных прямо в браузере, без установки Jupyter и настройки окружения.
Что умеют ноутбуки?
• SQL, Python и DuckDB — работайте с данными, проверяйте гипотезы и выполняйте расчёты.
• CSV, Parquet и JSON — загружайте свои файлы и анализируйте их вместе с данными из подключённых БД.
• Графики и таблицы — визуализируйте результаты прямо в ноутбуке.
• Автосохранение — код и результаты выполнения сохраняются, чтобы к исследованию можно было вернуться позже.
У вас есть 5 минут?⏱
1. Создайте ноутбук в SubQuery.
2. Загрузите любой CSV.
3. Исследуйте данные через DuckDB.
4. Постройте график в Python.
Не хочется начинать с нуля? Мы уже подготовили публичные ноутбуки с готовым кодом и результатами. Например, можно скопировать себе ноутбук с обучением ML-модели и поэкспериментировать с ним.
📖 Подробнее о новом модуле
Мы очень ждём ваших впечатлений! Пробуйте, экспериментируйте и делитесь идеями, чего ещё не хватает ноутбукам.
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥5🎉3❤2👀1
This media is not supported in your browser
VIEW IN TELEGRAM
Вопрос, который стоит задать не только бухгалтерии, но и вашей дата-команде. Потому что деньги могут исчезать совершенно незаметно.
В новой статье переводим разговор о семантическом слое с технического на финансовый.
Разбираем, из чего складываются скрытые расходы, как оценить потенциальную экономию, рассчитать ROI внедрения и обосновать инвестиции в семантический слой на языке бизнеса.
Узнать цену отсутствия семантического слоя можно тут👇 👉️️️️️️ https://subquery.ru/blog/semantic-layer/semantic-layer-roi
В следующий раз, когда вас спросят «А зачем нам семантический слой?», просто покажите эту статью
Please open Telegram to view this post
VIEW IN TELEGRAM
👍4😁2👀2❤1
This media is not supported in your browser
VIEW IN TELEGRAM
delete from users;
where id = 5
666 rows(s) affected.
В честь Хеллоуина мы подготовили для вас тыквенную тему
Переходите в настройки команды, нажимайте "Создать тему" и вводите следующие значения:
Основной #FF7518
Вторичный #9D4EDD
Акцентный #00E676
Нейтральный #F3E5AB
Инфо #29B6F6
Успех #00C853
Внимание #FFAB00
Ошибка #D50000
Фон 1 #1A1A1A
Фон 2 #121212
Фон 3 #0A0A0A
Кошелёк или инсайт?
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥11😁5🎉4🆒1
Старые снапшоты, тысячи мелких файлов, разросшиеся манифесты. Всё это копится незаметно. Пока однажды обычный запрос не начинает выполняться подозрительно долго, а счёт за хранение — подозрительно быстро расти.
В новой статье рассказываем, как правильно обслуживать Iceberg-таблицы, избавляться от накопившегося мусора, следить за производительностью и автоматизировать обслуживание.
В основе — материал из блога lakeFS, который мы дополнили практическими рекомендациями и комментариями нашего директора по данным.
Читать про управление таблицами Iceberg
Ухаживайте за таблицами регулярно. А то без внимания они начинают чахнуть
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥2👀2❤1
Кино? Встреча с друзьями?
Ну, конечно же, изучать SubQuery!
Маргарита, BI-архитектор «Далее», поделилась опытом перехода с локального dbt на облачный SubQuery. Рассказала, как использует платформу в ежедневной работе, показала реальные примеры и поделилась полезными лайфхаками.
А ещё отметила, что теперь тратит на привычные задачи в 2–3 раза меньше времени.
Хороших выходных! И пусть на следующей неделе у вас тоже будет больше свободного времени
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥7🎉4❤3👀1
🎤 Здравствуйте, товарищи!
Знаменательный день, однако. Для работы в dbt в SubQuery больше не требуется СУБД! Просто регистрируетесь и всё. Причём бесплатно.
🆕 Попробовать 🦆 в SubQuery 🆕
Как это работает?
При переходе в раздел dbt на этапе выбора подключения нужно ткнуть Озеро SubQuery (DuckDB). После этого мы будем запускать утку вместе с процессом dbt, а в консоли подключать wasm клиент.
Где фактически лежат данные?
Озеро SubQuery - мультитенантный лейкхаус с Apache Iceberg. То есть да! У вас будут паркеты с версионностью в геораспределенном объектном хранилище.
Где взять первичные данные?
• external tables в dbt или сидировать
• загрузить в ноутбуках (там уже давно работает озеро)
• воспользоваться потоками (об этом позже)
Почему так долго?
Ну да, я задумал это больше года назад, но технологии были не готовы 🤪 Какие-то из них потребовалось допилить самим, но в итоге нас с вами ждёт большое будущее.
Знаменательный день, однако. Для работы в dbt в SubQuery больше не требуется СУБД! Просто регистрируетесь и всё. Причём бесплатно.
Как это работает?
При переходе в раздел dbt на этапе выбора подключения нужно ткнуть Озеро SubQuery (DuckDB). После этого мы будем запускать утку вместе с процессом dbt, а в консоли подключать wasm клиент.
Где фактически лежат данные?
Озеро SubQuery - мультитенантный лейкхаус с Apache Iceberg. То есть да! У вас будут паркеты с версионностью в геораспределенном объектном хранилище.
Где взять первичные данные?
• external tables в dbt или сидировать
• загрузить в ноутбуках (там уже давно работает озеро)
• воспользоваться потоками (об этом позже)
Почему так долго?
Ну да, я задумал это больше года назад, но технологии были не готовы 🤪 Какие-то из них потребовалось допилить самим, но в итоге нас с вами ждёт большое будущее.
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥8👏3
