дата инженеретта
3.45K subscribers
326 photos
28 videos
4 files
136 links
мелкое — крупно,
в глубоком разговоре
мудрость приходит

по вопросам сюда: @aigul_sea
Download Telegram
Кто на ит-пикнике - давайте знакомиться!

Коллеги, всем привет!
Я уже на ИТ-пикнике, кто тоже тут - приходите познакомиться!🤍
Уже нафармила три пачки наклеек, пряник, мини-колонку и смузи)
Please open Telegram to view this post
VIEW IN TELEGRAM
15❤6🔥6👍1
Yet Another Teamlead Meetup

Снова захотелось понетворкаться, и я пошла на митап тимлидов в озон)
там лейтмотивом было:

🔵как погружаться в предметную область
🔵как должен действовать тимлид
🔵как расти в тимлида
🔵как растить тимлидов
🔵зачем расти в тимлида
🔵тимлид vs инженер

📘Посоветовали почитать книжку Елены Резановой "Это норм" - если что-то не получается.

А вот основные мысли, которые мне запомнились:

✨Лид хочет решить проблему, а инженер - задачу (может даже без понимания цели)

И это действительно важно: зачем вы делаете задачу, почему, какое вэлью. У меня понимание начало приходить спустя 6 месяцев, и это коррелирует с опытом других людей: 3-6 месяцев в зависимости от сложности предметной области.

✨Точка зрения лида понятна всем, а инженера - только ему

✨Лид ищет альтернативные решения дешевле/лучше первого попавшегося

✨Сеньор отличается от тимлида масштабом задач

✨Тимлид должен научить команду делать столько же задач, сколько делает сам (и даже быстрее)

🔷Немного математики

+1 тимлид = -1 сеньор (если внутри команды)
Если стал плохим тимлидом, -1 сеньор и -1 тимлид (ни того, ни другого). И потенциально -команда

🎈Вот такие инсайты)
Познакомилась с коллегой из Сбера, DA из Додо, ML-инженером из НСПК (карты мир и все такое). Покушала. Задала спикерам пару вопросов: они сказали, что 4 собеса в день не очень и что правильный тайминг для вопросов по ходу встречи - когда говорящий берет дыхание🙂
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
16🔥6👍52
🔍Расширяем датафреймы

Придумала себе на днях, как облегчить ресерч новой витрины данных с кучей таблиц.

🍺Контекст
У нас в Сбере при загрузке данных в таблички дописываются тех. столбцы с префиксом ctl. CTL - это штука по управлению потоками. Она может запускать разные оркестраторы: airflow, oozie итд итп

В тех. столбцах есть:
⏺тип операции (update, insert)
⏺id загрузки (чтобы можно было легко откатить)
⏺дата загрузки строки
⏺дата, по которую строка актуальна

И на экране это занимает достаточно много места.

💻Я набросала класс, чтобы удобно работать с пулом датафреймов - на картинке.

Тут еще интересен момент с chaining - мне очень нравится, когда функции вот так красиво друг за дружкой идут. Для этого нужно, чтобы каждый элемент в цепочке возвращал тот объект, который забрал.
Получили датафрейм - что-то поделали - вернули измененный, но все же датафрейм.
Please open Telegram to view this post
VIEW IN TELEGRAM
👍8🔥83❤1
Топ-подборка

🕒 Полгода назад мы с коллегами практически друг за другом завели тг-каналы, обсуждали пути их развития, соревновались. (Кстати, скрипт в Airflow до сих пор присылает на почту ежедневные отчетики по инкременту подписчиков.)

🔝 А потом уже сами прошли путь до амбассадоров Сбера и вошли в топ крутышей (я надеюсь!)

И вот мы с нашими коллегами-амбассадорами собрали папку на тему IT. Возможно, откроете новые в себе новые грани, возможно, нет, но заглянуть определенно стоит 👀
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥17❤86👍3🤔1
Кринж вопросы

Бывало ли у вас такое, что на собесе спрашивали абсолютную кринжатину?

В мой топ пока входят эти вопросы:

😒 Что такое json?
😒 Что такое html?
😒 А расскажите что-нибудь про ди ви эйч

В этих случаях обычно спрашивал человек возле IT, которого попросили по бумажке проверить ответы. У меня почему-то от них возникает ощущение неуважения))

И тут я подумала, что уровень вопросов на собесе тоже сильно важен. Потому что ты можешь понять, с какими людьми и задачами будешь имеешь дело. Если они задают жесть какие вопросы - значит, сами шарят за это и можно у них набраться крутого опыта👓👏 (лично моё мнение)

🎧 А вам задавали похожие вопросы?
Ориентируетесь ли вы на уровень вопросов?
Please open Telegram to view this post
VIEW IN TELEGRAM
❤8👍1
1️⃣➕2️⃣❕🟰3️⃣

Недавно столкнулась с необычным кейсом, связанный с несоответствием типов данных в КХ.

У нас есть таблица-источник, поверх вьюшка:

CREATE TABLE t (id String)
ENGINE = MergeTree()
ORDER BY id;

INSERT INTO t VALUES
('187'),
('2298'),
('9');

CREATE VIEW v (id Int32) AS
SELECT id
FROM t;


Обратите внимание, что в табличке лежит String, а во вьюшке Int.

Потом ищем минимумы:

SELECT min(id) FROM t;
--187
SELECT min(id) FROM v;
--9


Тут вопросиков нет: в таблице сортировка строк (поэтому с 1 будет минимальным), во вьюшке - как обычно.

А потом мы пытаем разделить на 2 диапазона по минимуму, и тут происходит какая-то дичь:

SELECT count() FROM v WHERE id >= '187';
--2
SELECT count() FROM v WHERE id < '187';
--0 ??? (должно быть 1)

SELECT count() FROM v WHERE id >= '9';
--1 ??? (должно быть 3)
SELECT count() FROM v WHERE id < '9';
--0


Причем если сравнивать без кавычек, то вываливается ошибка:

There is no supertype for types String, Int32


То есть в этих сравнениях какие-то значения сравниваются как строки, а какие-то как числа, и я не вижу никакого паттерна😭

Зато в плейграунде все работает как надо😑
Т.е. напрашивается, что особенности могут быть связаны именно с настройкой кластера
Please open Telegram to view this post
VIEW IN TELEGRAM
👍9🤔4
Про архитектуры дата платформ

Наконец-то появилось время посмотреть доклады со SmartData 2024. К сожалению, не разрешили пойти в оффлайн, поэтому довольствуемся чем есть🥲🥲

🔡
Из доклада "Data Lineage: как настроить в зоопарке технологий и зачем это нужно" - Купер
Уже из всех утюгов говорят про Debezium, Iceberg, Trino, Data Lineage. Как будто взяли самые хайповые технологии и сделали конфетку, как по мне - выглядит очень круто

1️⃣
Из доклада "Data mesh: ожидания vs реальность" - Леруа Мерлен (Лемана ПРО)
Это то, с чего они начинали

©️
Это то, к чему они сейчас пришли
Есть две статьи на хабре: 2021г. и 2023г., где они вкратце про это рассказывают

Вот такой System Design

#system_design
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥16👍42
This media is not supported in your browser
VIEW IN TELEGRAM
Поддержите начинающую актрису!

Мне тут написали из сообщества амбассадоров и пригласили сняться в рилсе!
Буквально 10 минут, несколько дублей, склейка, склейка - и готово

Лайки не запрещаются🩷
Please open Telegram to view this post
VIEW IN TELEGRAM
1❤51👍11🔥119🌚21