Вчера состоялось историческое событие: подписан Российский национальный кодекс этики искусственного интеллекта, который призван наложить определенные ограничения на разработчиков и дата-инженеров.

Так, в ходе обсуждение проблемы с ИИ, Наталья Касперская, президент InfoWatch заявила, что разработчики, «в силу человеческой лени», предпочитают обучать ИИ на базах, которые лежат в свободном доступе в интернете, и «непонятно что в них напихано».

Согласны? ДА / НЕТ

Ещё много занятных высказываний с конференции от топов отрасли выкладывается тут: https://t.me/cdo2day

PS пост поддержал приют для собак Зоорассвет в Москве

Можно только позавидовать с какой периодичностью - раз в год, один и тот же человек спрашивает "Есть что добавить спустя год?" (Пост про хранилище в Тинькофф на Greenplum DB) И каждый раз получает развернутый ответ.

Я далек от рынка СУБД в РФ и знаю про 2 продукта Greenplum DB и ClickHouse. Первый мне нравится намного больше, так как он работает по таким же принципам как Терадаты, Редшифт. Но при этом опен сорс. Если я делал решение и было бы ограничение, я бы 💯 использовал Greenplum DB. А вы что выбираете и почему?

#Завтра 2021-10-28 :

🤦‍♂️11:00 “Распознавание лиц: все, что нужно знать об этой технологии"

🚕18:00 Citymobil Data Meetup №3

🚌12:00 Применение ГЕОаналитики на основе Big Data для принятия управленческих решений в сфере транспортного планирования

✅ 16:00 - 22:00 Commvault Connections21, Агенда

🇷🇺В Санкт-Петербурге состоится Всероссийская конференция «Вектор будущего»

❓22:00 Как, выстраивая архитектуру аналитики, найти баланс между Apache Spark и СУБД с массово-параллельной обработкой (#MPP)?

🥳 19:00 DevTools Party в Яндексе

18:00-20:30 Epistemological AI for Natural Language Understanding (NLU) — Михаил Молин

🎙21:00 в голосовом чате планируем обсудить тему технологической зрелости и области #MLOps в целом, и инструментария в частности (в особенности с открытым исходным кодом).

Компания Thoughtworks решила заморочиться и выпустила Technology Radar. Сама картинка читается сложно без пояснительной записки.

The Radar captures the output of the Technology Advisory Board’s discussions in a format that provides value to a wide
range of stakeholders, from developers to CTOs. The content is intended as a concise summary.

Adopt: We feel strongly that the industry should be adopting these items. We use them when appropriate in our projects.
Trial: Worth pursuing. It’s important to understand how to build up this capability.
Enterprises can try this technology on a project that can handle the risk.
Assess: Worth exploring with the goal of understanding how it will affect your enterprise.
Hold: Proceed with caution.

В этом докладе вы найдете все популярные инструменты и buzz words и можете посмотреть, где они на графе.

Сама компания занимается консалтингом и именно их архитектор активно топит за Data Mesh

Через 15 минут начинаем:
https://youtu.be/cVDIbEsCTow

В дополнение к прошедшему вебинару по Airflow представляем перевод статьи от создателя этого инструмента о размышлении про будущее инженера данных.

Ссылка на перевод:
https://vc.ru/hr/311461-budushchee-inzhenera-dannyh

Также перевод продублирован на Яндекс.Дзен
https://zen.yandex.ru/media/id/61706aa4298d6612db1752e5/buduscee-injenera-dannyh-61799bd2126be27e399c4071

В какой-то момент своей аналитической карьеры (а может быть и до ее начала) вы захотите овладеть software engineering best practices и вообще почитать что-нибудь по этой теме. Вот некоторые из книг:
- Clean Code: A Handbook of Agile Software Craftsmanship
- The Pragmatic Programmer: From Journeyman to Master
- Refactoring: Improving the Design of Existing Code
- Test-Driven Development: By Example
- Code Complete
- The Missing Readme: A Guide for the New Software Engineer (в канале даже было обсуждение и в комментах была pdf)

Можете в комменты добавить ваши варианты. Однажды мы сможем написать чистый и красивый код...

А вот свеженькая книжка по нашей тематике: The Informed Company: How to Build a Cloud-Based Data Stack to Explore and Understand Data

- Discover the data stack strategies that are working for today's successful small, medium, and enterprise companies
- Learn the different Agile stages of data organization, and the right one for your team
- Learn how to maintain Data Lakes and Data -Warehouses for effective, accessible data storage
- Gain the knowledge you need to architect Data Warehouses and Data Marts
- Understand your business's level of data sophistication and the steps you can take to get to "level up" your data

https://theinformedcompany.com/ было бы интересно полистать PDF если у кого будет;)

Кстати авторы книги крутые - Dave Fowler (CEO of Chartio - now acquired by Atlassian) and Matt David ( Head of The Data School)

Вчера у нас был замечательный вводный вебинар/урок/демонстрация про Airflow от Дмитрия Браженко, вот запись.

Я бы очень хотел бы сделать такие же вебинары вводные про
- GreenplumDB
- Clickhouse

Еще бы посмотрели про Apache Superset.

Если у вас есть опыт с этими технологиями и хотите поделиться, welcome! Напишите Роману @rspon, сделает все в лучшем виде! Как раз сейчас модуль 6 про аналитические хранилища, а я могу только про западные рассказывать.

Ваша любимая база данных стала единорогом!https://www.forbes.ru/tekhnologii/444423-osnovannyj-andeksom-startap-clickhouse-stal-edinorogom

Большие новости в tech Facebook rebrands to #Meta “A social technology company”. “We build technologies that help people connect with friends and family, find communities, and grow businesses.”
https://about.fb.com/news/2021/10/facebook-company-is-now-meta/

Очень хороший ответ молодого специалиста, а за ним сразу бывалого. https://youtu.be/kfsAMZ7_DdI?t=39 (время выступления молодого бойца и за ним сразу идет профи)

У нас в slack есть канал data_news_from_the_world. Я его подписал на RSS разных тематических компаний и вендоров. Там даже была новость clickhouse.

Netflix опубликовал интервью с Data Engineer. Вообще Netflix платит топовые зарплаты, но и спрос соответствующий. У них есть безлимитный отпуск, но никто им не пользуется (безлимитным).

У них есть целый раздел посвященный data engineering https://netflixtechblog.com/tagged/data-engineering

Есть ещё книга про компанию Netflix, там хорошо раскрыты подходы к найму лучших сотрудников и их удержание.

🚀 Примите участие в онлайн-соревновании BCS Coding Days от «БКС Мир инвестиций» и Фонда «Сколково».

BCS Coding Days — это задачи для системных аналитиков, Android и Java-разработчиков с призовым фондом 1 500 000 рублей. Соревнование пройдёт с 4 по 5 декабря онлайн.

Трек для Системных аналитиков:

Вам будет предложено 4 реальных кейса:
- инструментарий для гибкой настройки портфеля;
- сервис «Обмен ПИФ»;
- подбор и анализ финансовых инструментов;
- онбординг новых пользователей.

Таймлайн BCS Coding Days:
- В преддверии соревнования посетите митапы с экспертами рынка;
- С 4 по 5 декабря решайте задачи, участвуйте в чек-поинтах и стрим-конференции с экспертами «БКС Мир инвестиций»;
- 7 декабря презентуйте свое решение и выиграйте главные призы.

Поборитесь за главный приз и возможность получить offer от «БКС Мир инвестиций».

👉 Успейте подать заявку до 3 декабря по ссылке: https://clck.ru/YWPaH

PS Пост поддержал приют для собак Зоорассвет в Москве

Красивая презентация про modern data stack

5ти часовой вводный курс - Algorithms and Data Structures Tutorial

Отличная презентация 2018 года - KISS (Keep it SQL, Stupid) про подход к созданию аналитических решений от создателей dbt tool. https://youtu.be/9VNh11qSfAo

Данные бывают:
- Structured - табличный вид
- Semi-Structured - XML, JSON, и тп
- Unstructured - Video, Image, Text, Audio. (На примере web логи, и мы можем их часточно структурировать, через пробел, поэтому не самый лучший пример)