MotherDuck сделали классный сервис для своего демо, который анализирует данные с LLM
👨💻5
Товарищ скинул видео про Clickhouse и его основателя. Очень интересно и познавательно.
Как-то я его всего недооценивал на западном рыке. Очень интересный кейс для data observability - миграция c DataDog/Splunk, миграция хранилища данных Databricks/Snowflake на ClickHouse Cloud.
Вот пришел бы ко мне Clickhouse, я бы им помог завоевать рынок Северной Америки через сообщества и обучение. Я так много лет назад предлагал Teradata, когда им на пятки наступал Snowflake (они без меня классно разобрались, но сделали playbook для всех), но никто мне не ответил. Поэтому мой 14 летный сын знает, что такое Snowflake, но не знает, что такое Teradata🎮
Меня попросили развернуть проект хранилища данных, я предложил Snowflake + dbt core и все внутри Snowflake - dbt, alerts, orchestration. Для BI Metabase. Задача сделать максимально дешево. Но может быть стоит попробовать Clickhouse Cloud. Как он с dbt core?
Какие самые дешевые решения для оркестрации и BI?
Как-то я его всего недооценивал на западном рыке. Очень интересный кейс для data observability - миграция c DataDog/Splunk, миграция хранилища данных Databricks/Snowflake на ClickHouse Cloud.
Вот пришел бы ко мне Clickhouse, я бы им помог завоевать рынок Северной Америки через сообщества и обучение. Я так много лет назад предлагал Teradata, когда им на пятки наступал Snowflake (они без меня классно разобрались, но сделали playbook для всех), но никто мне не ответил. Поэтому мой 14 летный сын знает, что такое Snowflake, но не знает, что такое Teradata
Меня попросили развернуть проект хранилища данных, я предложил Snowflake + dbt core и все внутри Snowflake - dbt, alerts, orchestration. Для BI Metabase. Задача сделать максимально дешево. Но может быть стоит попробовать Clickhouse Cloud. Как он с dbt core?
Какие самые дешевые решения для оркестрации и BI?
Please open Telegram to view this post
VIEW IN TELEGRAM
YouTube
$15 млрд после «Яндекса»: как Алексей Миловидов построил ClickHouse
НАСТОЯЩИЙ МАТЕРИАЛ (ИНФОРМАЦИЯ) ПРОИЗВЕДЕН И РАСПРОСТРАНЕН ИНОСТРАННЫМ АГЕНТОМ ЕЛИЗАВЕТОЙ НИКОЛАЕВНОЙ ОСЕТИНСКОЙ ЛИБО КАСАЕТСЯ ДЕЯТЕЛЬНОСТИ ИНОСТРАННОГО АГЕНТА ЕЛИЗАВЕТЫ НИКОЛАЕВНЫ ОСЕТИНСКОЙ 18+
IT-Регата — парусные гонки, нетворкинг и перезагрузка для…
IT-Регата — парусные гонки, нетворкинг и перезагрузка для…
❤🔥24🌚3🤷3⚡1💯1
Интересная локальная модель Gemma4-12B-Coder для Python, работает без интернета. Нужно 4.5 Gb VRAM.
Если вдруг вопрос про RAM vs VRAM:
Пишите много на Python или изучаете его? Отличный вариант использовать бесплатного помощника, если компьютер позволяет
Если вдруг вопрос про RAM vs VRAM:
RAM — рабочий стол обычного офисного работника (CPU)
VRAM — рабочий стол дизайнера с огромным монитором (GPU)
Пишите много на Python или изучаете его? Отличный вариант использовать бесплатного помощника, если компьютер позволяет
❤🔥11🌚3🐳1
Я получил новый MacBook и зарядил Claude Code скачать локальные модели на попробовать.
❤🔥23🙈5🫡3⚡1
Сегодня заценил новый skill от Claude. Как обычно Airflow Dag упал с ошибкой. Обычно я копирую ошибку в Claude Code и прошу его починить.
Но сегодня товарищ попробовал попросить Claude bot, и он сразу нашел проблему, владельца dag, source code изменения и тп. И сразу сделал PR.
Раньше мы такое делали как мини проект - запускали lambda, чтобы она все это делала и писала ответ и создавала PR. А теперь все из коробки.
Но сегодня товарищ попробовал попросить Claude bot, и он сразу нашел проблему, владельца dag, source code изменения и тп. И сразу сделал PR.
Раньше мы такое делали как мини проект - запускали lambda, чтобы она все это делала и писала ответ и создавала PR. А теперь все из коробки.
❤🔥27😭9🐳6⚡3
Lakehouse для аналитиков и инженеров данных
Приглашаем изучить популярный подход построения хранилищ данных Data Lakehouse c разделенным Compute и Storage на основе Iceberg и Trino.
В программе курса:
• Современная архитектура аналитических систем от DWH и Data Lake до Lakehouse с разделением Compute и Storage на базе Apache Iceberg и Trino.
• Iceberg: управление файлами, снимками, каталогами, схемами изменений и очисткой.
• Практическое использование Iceberg Catalog, работа с кластером Trino (на Kubernetes), подключение данных на S3 и выполнение SQL/ Python-запросов.
• Работа с Iceberg+Trinо на больших масштабах: сложные запросы к датасету TPC-DS (2.8 млрд строк), интеграция с DBT, Apache Airflow, оценка производительность систем.
• Построение пайплайнов, инструменты для корректной поддержки, обновления и масштабирования Lakehouse-инфраструктуры на уровне предприятия.
Кто мы: R&D-центр Devhands, наш канал.
Автор курса — Алексей Белозерский, CDO в inSales (Сбер 2B), ex: VK Tech, М.Видео, Эльдорадо
🗓 Старт курса: 27 августа
Изучить программу и записаться можно здесь.
Ждём вас!
Реклама. ИП Рыбак А.А. ИНН 771407709607 Erid: 2VtzquZf5с8
Приглашаем изучить популярный подход построения хранилищ данных Data Lakehouse c разделенным Compute и Storage на основе Iceberg и Trino.
В программе курса:
• Современная архитектура аналитических систем от DWH и Data Lake до Lakehouse с разделением Compute и Storage на базе Apache Iceberg и Trino.
• Iceberg: управление файлами, снимками, каталогами, схемами изменений и очисткой.
• Практическое использование Iceberg Catalog, работа с кластером Trino (на Kubernetes), подключение данных на S3 и выполнение SQL/ Python-запросов.
• Работа с Iceberg+Trinо на больших масштабах: сложные запросы к датасету TPC-DS (2.8 млрд строк), интеграция с DBT, Apache Airflow, оценка производительность систем.
• Построение пайплайнов, инструменты для корректной поддержки, обновления и масштабирования Lakehouse-инфраструктуры на уровне предприятия.
Кто мы: R&D-центр Devhands, наш канал.
Автор курса — Алексей Белозерский, CDO в inSales (Сбер 2B), ex: VK Tech, М.Видео, Эльдорадо
🗓 Старт курса: 27 августа
Изучить программу и записаться можно здесь.
Ждём вас!
Реклама. ИП Рыбак А.А. ИНН 771407709607 Erid: 2VtzquZf5с8
⚡3❤🔥1🐳1
Говорят навык кодить руками уже умирает. Писать код самому это уже недостаток. Понимать код, архитектуру и знать фундаментальные вещи это другое, которое необходимо. И теперь как-то надо это понимать и знать без hands-on опыта.
Молодежь, держись☕️
Молодежь, держись
Please open Telegram to view this post
VIEW IN TELEGRAM
😭58💯28🐳7🙈5🤷♀2🤷2
Наверно посмотрели на SpaceX, OpenAI, Anthropic и решили, что надо побольше капитализацию.
А еще databricks купил Electric - агенты рулят!
А еще databricks купил Electric - агенты рулят!
🌚7🫡5❤🔥2🙈2
📅 Сегодня в 19:00 по МСК будет вебинар про то, как агентный AI начинает менять привычный подход к BI и меняет бизнес-аналитику.
🎙 Спикеры: ребята из AI4BI.
Вебинар будет здесь (в канале) в онлайне
🔍 Описание:
Поговорим о том, как меняется сама работа с аналитикой: от ручных SQL-запросов и привычных дашбордов - к агентам, которые могут самостоятельно работать с данными, находить аномалии и помогать получать ответы быстрее.
Что разберем:
🔸 почему self-service BI не решил многие проблемы аналитики и куда сейчас движется Agentic BI
🔸 Open Source vs Enterprise: Vanna, DB-GPT, Superset - в сравнении с DataLens и Power BI
🔸 как может выглядеть агентный слой поверх Apache Superset + Trino + ClickHouse в закрытом контуре
🔸 реальный кейс внедрения в ритейле на 1500+ пользователей - логистика, склады, транспорт
🔸 экономика внедрения и окупаемость такого подхода на реальном кейсе
Думаю, особенно интересно будет тем, кто работает с BI, аналитическими платформами и AI-агентами или просто хочет понять, куда сейчас движется аналитика.
◼︎ Сегодня, 19:00 по Москве
Ссылки на ресурсы ребят:
🔗 Сайт → https://ai4bi.raftds.ru/
🔗 Канал → https://t.me/ai_archnadzor
#datalearn #Вебинар
Please open Telegram to view this post
VIEW IN TELEGRAM
Telegram
Эй ай надзор
🔎 Ваш экспертный взгляд на архитектуру AI-решений. Разбираем кейсы, делимся лучшими практиками.
Автор – практикующий AI-архитектор.
Для консультаций/аудита: @parallelnominded
Key-words: AI-архитектура, MLOps, аудит AI, AI-консалтинг, проектирование AI
Автор – практикующий AI-архитектор.
Для консультаций/аудита: @parallelnominded
Key-words: AI-архитектура, MLOps, аудит AI, AI-консалтинг, проектирование AI
❤🔥12🌚3🐳2😭1
Недавно был интересный случай. Моя компания Rock Your Data попала в небольшой тендер на разработку хранилища данных.
Моим оппонентом была небольшая консалтинговая компания, которая решила предложить стартапу внедрить Microsoft Fabric + Power BI. Это была их фатальная ошибка.
А я предложил Snowflake + dbt (внутри Snowflake), Metabase BI (6$ за место в месяц) и оставить оркестрацию внутри Snowflake.
А самое главное — сказал, что сразу буду использовать Claude Code и сделаю для них фреймворк, где разработка будет на Claude, а их единственный аналитик-джун станет дата-инженером.
На картинке — изначальный план агентства.
Агентство, конечно, лукавило, когда говорило, что сделает им всё за небольшие деньги на Microsoft Fabric.
Решения Microsoft — для Enterprise-компаний, когда у вас есть несколько команд по 10 человек и вы можете позволить себе ничего не делать месяцами (создавать видимость работы).
Моим оппонентом была небольшая консалтинговая компания, которая решила предложить стартапу внедрить Microsoft Fabric + Power BI. Это была их фатальная ошибка.
А я предложил Snowflake + dbt (внутри Snowflake), Metabase BI (6$ за место в месяц) и оставить оркестрацию внутри Snowflake.
А самое главное — сказал, что сразу буду использовать Claude Code и сделаю для них фреймворк, где разработка будет на Claude, а их единственный аналитик-джун станет дата-инженером.
На картинке — изначальный план агентства.
Агентство, конечно, лукавило, когда говорило, что сделает им всё за небольшие деньги на Microsoft Fabric.
Решения Microsoft — для Enterprise-компаний, когда у вас есть несколько команд по 10 человек и вы можете позволить себе ничего не делать месяцами (создавать видимость работы).
💯32🌚13❤🔥6🐳2
В новой статье Headed for the Exit: the Great Engineering Leader Career Break, автор делится наблюдениям про высокие инженерные должности.
Роль инжиниринг менеджера в 2020 и в 2026 сейчас очень разные, и многие не хотят работать в таких условиях. Я полагаю сейчас вырастает новый тип руководителей, которым легче вариться в таких условиях.
Особенно хорошо написано про деньги - AI направления = больше денег у IC, чем у C уровня не AI. А еще лучше несколько fraction ролей (part time).
А как у вас ощущения?
CTO, VP of Engineering, Head of Engineering — люди, которые ещё вчера были на вершине карьеры — сейчас пачками уходят с позиций. Без нового места. Просто уходят.
The Pragmatic Engineer опросил почти 20 таких руководителей. Вот что они говорят:
Почему уходят:
1️⃣ Работа стала невыносимой — фаундеры с «AI-психозом» сами пишут код и сливают 60к строк в продакшн, ожидая магии. А разбираться с последствиями — CTO
2️⃣ Equity сгорает — сложные структуры инвесторских предпочтений делают даже 2% акций бесполезными. Зачем терпеть, если выхлопа не будет?
3️⃣ Без AI-опыта ты уже устарел — рынок хочет тех, кто уже трансформировал компанию под AI. Сидишь в «медленной» компании — отстаёшь
4️⃣ Команды сжались — один fullstack-инженер с AI делает работу пяти. VPE просто не нужен при команде из 4 человек
5️⃣ Fractional CTO выгоднее — зачем один работодатель, если можно работать с пятью параллельно?
6️⃣ AI-стартапы платят рядовым инженерам больше, чем обычные стартапы платят своим CTO. Математика не в пользу руководства
7️⃣ Выгорание — давление со всех сторон, нереалистичные ожидания, и ощущение что ты Дон Кихот
Роль инжиниринг менеджера в 2020 и в 2026 сейчас очень разные, и многие не хотят работать в таких условиях. Я полагаю сейчас вырастает новый тип руководителей, которым легче вариться в таких условиях.
Особенно хорошо написано про деньги - AI направления = больше денег у IC, чем у C уровня не AI. А еще лучше несколько fraction ролей (part time).
А как у вас ощущения?
Pragmaticengineer
Headed for the Exit: the Great Engineering Leader Career Break
Trend: more CTOs, VPEs, and Heads of Engineering are walking away from their high-status, in-demand positions. There are many reasons, mostly related to AI, and to "founder mode"
🙈9🙊6🤷3🐳1