Сегодня прошла замечательная история. На моем любимом проекте в Technical Safety BC, где работают пенсионеры и полу пенсионеры (в прямом смысле ждут свою пенсию), где текущий дата инженер использует голосовые помощники, чтобы делать пайплайны в SSIS, потому что потерял зрение на старости лет - меня уволили одним днем, за то, что в проекте по миграции on-premises на AWS я сделал s3 bucket public.

Хотел визуализировать excel табличку с прогрессом как сайт в тестовом AWS аккаунте.

PS скорей всего они просто устали, что я слишком на них газовал и говорил, что они некомпетентные и ленивые бараны.

Атака на корпоративного ИИ-ассистента: разбор уязвимостей в прямом эфире

Большинство ИИ-систем с доступом к внутренним данным уязвимы. И проблема не в самом ИИ, а в том, что безопасность закладывают после запуска, а не до.

16 июня MWS AI (входит в МТС Web Services) покажут живое демо атаки на корпоративного ИИ-ассистента, подключенного к внутренним базам данных. Разберут конкретные векторы, слабые места архитектуры и что именно приводит к раскрытию лишнего контекста.

Также в программе:
• чек-лист вопросов перед выводом ИИ-решения в прод
• рамка для оценки стоимости ИИ-инцидента
• как выстроить взаимодействие между разработкой, ИБ и бизнесом

Будет полезно ML-инженерам, архитекторам ИИ-систем и техническим лидерам, которые проектируют или внедряют решения с доступом к корпоративным данным.

🗓 16 июня, 16:00 мск

→ Зарегистрироваться

Dagster и цены мы тут обсуждали в прошлом. Походу еще дороже стал. Полностью поддерживаю, если у вас с бюджетом напряг не используйте Dagster. Airflow или AWS Step functions и AWS Batch (если надо совсем дешево и вы на AWS)

Вчера посмотрел про история Антропика и их основателей
Inside Anthropic, the $965 Billion AI Juggernaut | The Circuit, узнал про их культуру и рост. Отличное видео, особенно если вы изучаете английский или не работали еще с Claude Code.

🚀 Быстрый старт в AI-аналитику с DataLens

16 июня в 12:00 (мск) — вебинар о том, как работает AI-аналитика в DataLens.

Разберём всё по делу:
🤖 Большое обновление Нейроаналитика — агентский режим под капотом
📊 Новые сценарии: виджеты дашборда, рассылки, встройки, публикации
🔧 Внешние AI-инструменты для эффективной работы с DataLens
☁️ Облако и on-premises — что доступно и как
🗺 Планы развития встроенных AI-возможностей и инфраструктуры для внешних AI

Регистрируйтесь — и приходите с вопросами 👇

Snowflake начал активно контрибьютить в Apache Spark https://careers.snowflake.com/us/en/blogarticle/building-apache-spark-in-the-open-at-snowflake

Статья рассказывает о подходе Snowflake к интеграции Apache Spark в свою экосистему. Вот ключевые моменты:

• Главный герой — Holden Karau, Principal Software Engineer в Snowflake и коммиттер Apache Spark.
• Цель Snowflake — адаптировать Spark API для улучшения возможностей дата-инженерии и создания более целостного опыта для пользователей.
• Open Source подход — компания активно участвует в разработке открытых проектов, таких как Apache Spark и Apache Iceberg, что помогает лучше соответствовать потребностям клиентов.
• Культура сотрудничества — Karau подчёркивает важность вклада в open source ради общего блага, а не личной выгоды, и делится опытом работы в открытых сообществах.
• Если коротко: статья о том, как Snowflake строит интеграцию с Apache Spark через активное участие в open source разработке, а не просто использует готовые решения.

Раньше у Snowflake был фокус на свой собственный фреймворк - Snowpark

Snowflake создал Snowpark — свой собственный developer API (Python, Scala, Java) с DataFrame-подобным синтаксисом, похожим на Spark. Но это не Spark — весь код выполняется внутри движка Snowflake, никакого Spark-кластера не нужно. По сути, Snowflake пытался предложить альтернативу Spark, не требующую внешней инфраструктуры.

Возможно из Spark не сработал, и они решили топить за оригинальный Spark.

В Apache Spark 3.4 появился Spark Connect — архитектура с разделением клиента и кластера. Snowflake воспользовался этим, чтобы сделать Snowpark Connect for Spark: теперь можно писать настоящий PySpark-код, а выполняться он будет на движке Snowflake — без Spark-кластера. Это уже настоящий Apache Spark API, а не собственный аналог.

Как там уже запустили курсы AI разработчик - от 0 до 1млн рублей за 3 месяца?

Кто-то завайбкодил 3х мерный веб-сайт https://messenger.abeto.co/

Технологии: WebGL и Three.js

Недавно у одного душного менеджера возник вопрос — почему я иногда опаздываю на митинги, почему иногда камера выключена и т.п. Он рассказал, что у него низкий порог терпимости ко всяким махинациям (намекая на возможные посторонние дела).

При этом компания уволила 600 инженеров неделю назад и закрыла один из офисов.

Возможно, такой наезд был бы ОК лет 5–6 назад. Но сегодня подобные наезды лишь подчёркивают, что команде и компании непонятно, в каком направлении двигаться и что делать. Задача менеджера — создавать бурную деятельность, и он будет измерять её через активность в Slack и количество Zoom-встреч с включённой камерой.

Что мы имеем по факту? Ни одна компания не даст вам гарантий, что вас не уволят в течение 6–12 месяцев, но при этом каждая компания ожидает, что вы — «их собственность», и если вам платят зарплату, то вы должны быть благодарны и жертвовать своими интересами ради высшей миссии.

Это не значит, что можно не работать. Работать нужно, но нужно работать так, чтобы было интересно и ненапряжно. И если у вас есть возможность заниматься чем-то ещё в свободное время — это замечательно, даже если это время приходится на середину рабочего дня. Ведь вам платят не за часы, отсиженные на Zoom, а за результат.

Обновил сайт Rock Your Data https://rockyourdata.cloud/, добавил сервисы по AI, и Space Analytics (IoT, Earth Observation), чтобы была лучше трансформация в https://playeronespace.com/ (сайт, и что делаем, тоже поменял).

И конечно, поменял https://surfalytics.com/, но пока еще надо настроить личный кабинет, в котором будет roadmap, задания и тп. У меня большой backlog фич завязанных на AI (чтобы попробовать разные инструменты), но пока время не хватает.

Для всего использовал Astro фреймворк. RYD и P1S у меня живут на Github pages. Surfalytics на Netlify + Supabase как back-end.

Лишний раз подтверждение, сколько всего можно реализовать с AI.

Сегодня попробовал Omni. Подключил его к Snowflake и dbt.

Напомнил Looker с LookML, но удобней, что он сразу умеет читать из dbt моделей и более удобно интегрируется с git.

Короткое демо https://youtu.be/9GduXHYYGbU?si=FcmQdlnoj36xbhdN

Сейчас самый большой hype это дата центры и AI в космосе. Bloomberg выпустил небольшое видео https://youtu.be/cNI4N3-FcEI?si=JFuu3XZSf2eIbbfv

Все относятся к этой идеи очень скептически, но с другой стороны, все новые идеи проходят такой путь, поэтому утверждать, что этого никогда не будет мы не можем. Зато, если будет, то будут уже космические дата инженеры:)