🔥Полноценный data stack внутри своего контура
Когда данных становится много, одного SQL-движка или отдельной СУБД уже недостаточно. Нужна связка инструментов, которая закрывает весь путь данных: от загрузки и хранения до обработки, аналитики и визуализации.
Такой сценарий можно реализовать в Stackland - платформе, которая разворачивается локально в контуре компании.
В обновлении появились PaaS-компоненты Yandex Cloud, из которых можно собрать полноценную data-платформу:
🔹 Managed Service for ClickHouse® и Managed Service for PostgreSQL - хранение и обработка данных.
🔹 Yandex Managed Service for Trino + Yandex Object Storage - основа аналитического слоя: S3 обеспечивает масштабируемое хранение данных, а Managed Service for Trino — быстрый SQL-доступ к ним.
🔹 Managed Service for Apache Airflow® - управление оркестратором потоков операций по обработке данных.
🔹 Yandex DataLens - BI-система для визуализации данных.
При этом все основные компоненты платформы разворачиваются внутри инфраструктуры компании.
Для data engineering-команд такой подход интересен прежде всего тем, что можно собрать под одной платформой основные компоненты современного data stack: Storage → SQL → ETL/ELT → DWH/аналитика → BI
И не тратить время на самостоятельную сборку и поддержку каждого компонента с нуля.
Когда данных становится много, одного SQL-движка или отдельной СУБД уже недостаточно. Нужна связка инструментов, которая закрывает весь путь данных: от загрузки и хранения до обработки, аналитики и визуализации.
Такой сценарий можно реализовать в Stackland - платформе, которая разворачивается локально в контуре компании.
В обновлении появились PaaS-компоненты Yandex Cloud, из которых можно собрать полноценную data-платформу:
🔹 Managed Service for ClickHouse® и Managed Service for PostgreSQL - хранение и обработка данных.
🔹 Yandex Managed Service for Trino + Yandex Object Storage - основа аналитического слоя: S3 обеспечивает масштабируемое хранение данных, а Managed Service for Trino — быстрый SQL-доступ к ним.
🔹 Managed Service for Apache Airflow® - управление оркестратором потоков операций по обработке данных.
🔹 Yandex DataLens - BI-система для визуализации данных.
При этом все основные компоненты платформы разворачиваются внутри инфраструктуры компании.
Для data engineering-команд такой подход интересен прежде всего тем, что можно собрать под одной платформой основные компоненты современного data stack: Storage → SQL → ETL/ELT → DWH/аналитика → BI
И не тратить время на самостоятельную сборку и поддержку каждого компонента с нуля.
❤3👍3
Для чего используется команда ANALYZE в PostgreSQL?
Anonymous Quiz
7%
Для проверки целостности файлов
6%
Для удаления неиспользуемых индексов
3%
Для дефрагментации таблиц
84%
Для сбора статистики о распределении данных
❤5
sqlite-vec добавляет vector search прямо в SQLite через компактное расширение.
Что это даёт:
- без Pinecone
- без Weaviate
- без Qdrant
- без отдельного vector DB сервера
- всё хранится рядом с обычными данными в SQLite
Расширение маленькое, open source и запускается везде, где работает SQLite.
Для локальных AI-приложений, RAG, embedded-сценариев и небольших сервисов это особенно интересно: одна база, один файл, обычный SQL + поиск по эмбеддингам.
https://github.com/asg017/sqlite-vec
Please open Telegram to view this post
VIEW IN TELEGRAM
👍8❤1
🗄 ИИ-агент работает с базой, но как не дать ему показать лишнее?
6 октября в Архитектурном клубе Яндекс 360 разберут архитектуру ИИ-агента над корпоративными данными. В том числе поговорят о поиске, метаданных и фильтрах, а главное — о том, как наследовать права доступа исходных систем.
Также Даниил Смирнов, руководитель разработки ИИ-платформы Яндекс 360, расскажет, как изолировать данные пользователей и организаций и не допускать утечек через индекс или кэш..
🗓 6 октября, 17:00 МСК
💻 Онлайн, бесплатно
→ Зарегистрироваться на эфир
6 октября в Архитектурном клубе Яндекс 360 разберут архитектуру ИИ-агента над корпоративными данными. В том числе поговорят о поиске, метаданных и фильтрах, а главное — о том, как наследовать права доступа исходных систем.
Также Даниил Смирнов, руководитель разработки ИИ-платформы Яндекс 360, расскажет, как изолировать данные пользователей и организаций и не допускать утечек через индекс или кэш..
🗓 6 октября, 17:00 МСК
💻 Онлайн, бесплатно
→ Зарегистрироваться на эфир
❤1👍1
Полезный совет для MySQL 8: используй LATERAL, когда для каждой строки нужно получить «лучшие N связанных записей».
Например, взять последние 3 заказа каждого пользователя:
Без LATERAL такую задачу часто решают через оконные функции и сначала ранжируют всю таблицу orders.
С LATERAL база может для каждого пользователя сразу сходить по индексу:
Особенно полезно для задач вида:
«последние N», «самая дорогая запись», «ближайшее событие», «лучший результат для каждой строки».
Главное: всегда проверяй EXPLAIN ANALYZE — на больших таблицах правильный составной индекс здесь решает всё.
Например, взять последние 3 заказа каждого пользователя:
SELECT
u.id,
u.name,
o.id AS order_id,
o.created_at
FROM users u
JOIN LATERAL (
SELECT id, created_at
FROM orders
WHERE orders.user_id = u.id
ORDER BY created_at DESC
LIMIT 3
) o ON TRUE;
Без LATERAL такую задачу часто решают через оконные функции и сначала ранжируют всю таблицу orders.
С LATERAL база может для каждого пользователя сразу сходить по индексу:
CREATE INDEX idx_orders_user_created
ON orders (user_id, created_at DESC);
Особенно полезно для задач вида:
«последние N», «самая дорогая запись», «ближайшее событие», «лучший результат для каждой строки».
Главное: всегда проверяй EXPLAIN ANALYZE — на больших таблицах правильный составной индекс здесь решает всё.
👍7❤3🔥1
Tencent обошла экспортный запрет США: 100 000 ИИ-чипов в аренду у Oracle
По данным Financial Times, Tencent арендовала у Oracle около 100 000 передовых ИИ-чипов на 5 лет. Сумма сделки около 7 млрд долларов, то есть примерно 14 000 долларов за чип в год.
Сами чипы в Китай не попадают. Они стоят в нескольких дата-центрах Oracle в Юго-Восточной Азии, а Tencent получает к ним доступ удалённо.
Формально это законно. Экспортный контроль США регулирует, куда физически уезжают чипы, а аренда вычислительных мощностей из-за рубежа под ограничения не попадает.
Получается, что ограничения на поставки чипов для китайских компаний во многом работают только на бумаге: железо остаётся за пределами Китая, а модели на нём обучает китайский бигтех. Так что регуляторам, скорее всего, придётся заняться и облачной арендой.
https://www.ft.com/content/8799b33d-f07c-4a03-82f0-bf5d3d1d29e9
По данным Financial Times, Tencent арендовала у Oracle около 100 000 передовых ИИ-чипов на 5 лет. Сумма сделки около 7 млрд долларов, то есть примерно 14 000 долларов за чип в год.
Сами чипы в Китай не попадают. Они стоят в нескольких дата-центрах Oracle в Юго-Восточной Азии, а Tencent получает к ним доступ удалённо.
Формально это законно. Экспортный контроль США регулирует, куда физически уезжают чипы, а аренда вычислительных мощностей из-за рубежа под ограничения не попадает.
Получается, что ограничения на поставки чипов для китайских компаний во многом работают только на бумаге: железо остаётся за пределами Китая, а модели на нём обучает китайский бигтех. Так что регуляторам, скорее всего, придётся заняться и облачной арендой.
https://www.ft.com/content/8799b33d-f07c-4a03-82f0-bf5d3d1d29e9
❤4👍2🔥2
GitHub представил Agentic Engineering System - фреймворк для команд, которые внедряют AI-агентов в разработку.
Идея простая: больше сгенерированного кода ещё не означает больше пользы.
GitHub предлагает строить работу вокруг трёх вещей:
- Governance — что агентам можно делегировать и где нужен человек
- Shared Knowledge — код, документация, решения, телеметрия и контекст
- Customer Value — приносит ли ускорение реальную пользу пользователям
Сам процесс делится на цикл Define → Deliver → Detect, а человек и AI могут выступать как director, performer или assessor.
Главная метрика: скорость должна расти без роста дефектов и потери качества.
https://github.com/resources/insights/agentic-engineering-system
Идея простая: больше сгенерированного кода ещё не означает больше пользы.
GitHub предлагает строить работу вокруг трёх вещей:
- Governance — что агентам можно делегировать и где нужен человек
- Shared Knowledge — код, документация, решения, телеметрия и контекст
- Customer Value — приносит ли ускорение реальную пользу пользователям
Сам процесс делится на цикл Define → Deliver → Detect, а человек и AI могут выступать как director, performer или assessor.
Главная метрика: скорость должна расти без роста дефектов и потери качества.
https://github.com/resources/insights/agentic-engineering-system
❤4👍1🔥1
🧠 TIL: SQLite превращает числа в текст сразу по две цифры
Обычно
и повторяем снова.
SQLite идёт хитрее.
В исходниках есть строка на 200 символов, содержащая все пары от
При преобразовании числа SQLite обрабатывает его по две цифры за раз и просто берёт нужную пару символов по индексу.
То есть вместо множества операций
делим на 100 → получаем две цифры → копируем готовую пару.
Маленькая оптимизация, но именно из таких деталей и состоит быстрый системный код.
Исходник:
Обычно
integer → string делают циклом:/ 10 → берём цифру % 10 → остаток и повторяем снова.
SQLite идёт хитрее.
В исходниках есть строка на 200 символов, содержащая все пары от
00 до 99:000102030405...979899При преобразовании числа SQLite обрабатывает его по две цифры за раз и просто берёт нужную пару символов по индексу.
То есть вместо множества операций
/10 и %10:делим на 100 → получаем две цифры → копируем готовую пару.
Маленькая оптимизация, но именно из таких деталей и состоит быстрый системный код.
Исходник:
sqlite/src/util.c❤6🔥4👍3
Из аналитика в дата-инженеры: переход реален? 🤔
В последнее время все чаще дата-инженерия для аналитиков становится более привлекательной, но в то же время страшной.
С одной стороны, хочется понимать не только то, что происходит с данными, но и как эти данные вообще доезжают до нас. Откуда берутся, где хранятся, как обновляются, почему сегодня в витрине 10 млн строк, а завтра 8 млн и кто опять сломал загрузку🥲
И получается ситуация, когда хочется попробовать, но непонятно, с чего начинать и сколько лет на это закладывать.
Поэтому мне понравилось, как Симулейтив пересобрали свой буткемп «Инженер данных».
Курс разделен на 2 этапа: за первые 10 недель вы осваиваете базу и доходите до уровня junior-специалиста. А на втором этапе — углубленное изучение ключевых инструментов, где вы дорастаете до мидла.
Что вас ждет на курсе:
➖ SQL, Python, пайплайны сбора и обновления данных, хранение и обработка, DWH;
➖ Живые занятия с ментором каждую неделю — не записи, а разборы вживую;
➖ Подготовка к собеседованиям с первых недель, а не в самом конце;
➖ ИИ-инструменты как часть программы — учите работать с ними, а не избегать;
➖ Гостевые лекции от практикующих дата-инженеров из Яндекса, Т-Банка, Авито, Сбера, OZON;
➖ Официальный диплом о профессиональной переподготовке.
Кому подойдёт:
1. Тем, кто хочет войти в дата-инженерию с нуля или перейти из аналитики;
2. Тем, кто пробовал учиться самостоятельно, но теряет темп без структуры;
3. Тем, кому интереснее не просто считать метрики, а выстраивать систему, на которой держатся данные.
Почему сейчас: специалистов, которые управляют данными как системой, на рынке меньше, чем нужно, — а спрос растёт, потому что без инженерии любые данные быстро превращаются в хаос.
🔥ВАЖНО: Симулейтив дают возможность получить грант обучение и гарантируют трудоустройство своих студентов. Количество грантов ограничено!
Оставляйте заявку до завтра включительно, чтобы занять одно из 5 оставшихся мест нового потока!
🔗 ЗАБРОНИРОВАТЬ МЕСТО
В последнее время все чаще дата-инженерия для аналитиков становится более привлекательной, но в то же время страшной.
С одной стороны, хочется понимать не только то, что происходит с данными, но и как эти данные вообще доезжают до нас. Откуда берутся, где хранятся, как обновляются, почему сегодня в витрине 10 млн строк, а завтра 8 млн и кто опять сломал загрузку🥲
И получается ситуация, когда хочется попробовать, но непонятно, с чего начинать и сколько лет на это закладывать.
Поэтому мне понравилось, как Симулейтив пересобрали свой буткемп «Инженер данных».
Курс разделен на 2 этапа: за первые 10 недель вы осваиваете базу и доходите до уровня junior-специалиста. А на втором этапе — углубленное изучение ключевых инструментов, где вы дорастаете до мидла.
Что вас ждет на курсе:
Кому подойдёт:
1. Тем, кто хочет войти в дата-инженерию с нуля или перейти из аналитики;
2. Тем, кто пробовал учиться самостоятельно, но теряет темп без структуры;
3. Тем, кому интереснее не просто считать метрики, а выстраивать систему, на которой держатся данные.
Почему сейчас: специалистов, которые управляют данными как системой, на рынке меньше, чем нужно, — а спрос растёт, потому что без инженерии любые данные быстро превращаются в хаос.
🔥ВАЖНО: Симулейтив дают возможность получить грант обучение и гарантируют трудоустройство своих студентов. Количество грантов ограничено!
Оставляйте заявку до завтра включительно, чтобы занять одно из 5 оставшихся мест нового потока!
🔗 ЗАБРОНИРОВАТЬ МЕСТО
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥1
DOOM запустили внутри SQL-базы. Каждый кадр теперь результат запроса 🤯
Лукас Фогель собрал SQLDoom: игровая логика и рендеринг оригинального DOOM работают внутри CedarDB.
Карты, монстры, оружие и состояние игры хранятся в таблицах. SQL рассчитывает движение, атаки и столкновения, а затем собирает картинку:
• около 1300 строк SQL и 89 CTE отвечают за рендеринг;
• ещё 5900 строк SQL реализуют игровую логику;
• кадры 320×200 генерируются примерно с 60 FPS на ноутбуке с Ryzen 7 PRO 7840U. В тяжёлых сценах частота падает до 35 FPS.
Python обрабатывает ввод, задаёт тайминг и выводит готовые кадры. Работает даже мультиплеер.
Теперь оптимизировать SQL нужно ещё и для того, чтобы монстры не лагали ☕️
Код:
https://github.com/cedardb/sqldoom
Онлайн-демка:
https://demo.cedardb.cloud/projects/38c0ee59-327d-495e-ad40-735521bba941
Лукас Фогель собрал SQLDoom: игровая логика и рендеринг оригинального DOOM работают внутри CedarDB.
Карты, монстры, оружие и состояние игры хранятся в таблицах. SQL рассчитывает движение, атаки и столкновения, а затем собирает картинку:
• около 1300 строк SQL и 89 CTE отвечают за рендеринг;
• ещё 5900 строк SQL реализуют игровую логику;
• кадры 320×200 генерируются примерно с 60 FPS на ноутбуке с Ryzen 7 PRO 7840U. В тяжёлых сценах частота падает до 35 FPS.
Python обрабатывает ввод, задаёт тайминг и выводит готовые кадры. Работает даже мультиплеер.
Теперь оптимизировать SQL нужно ещё и для того, чтобы монстры не лагали ☕️
Код:
https://github.com/cedardb/sqldoom
Онлайн-демка:
https://demo.cedardb.cloud/projects/38c0ee59-327d-495e-ad40-735521bba941
🔥13❤8😁4🥰2
⚡️ SQL с подвохом: NULL в пустом списке
Что выведет PostgreSQL?
Ответ: `a = false`, ⚡️ SQL с под
Подзапрос возвращает L в пустом списк Совпадений нет, поэтому в пуствозвращает одвохом: а SQL с подвозвращает одвохом: даже если проверяемое значение равно
Для сравнения: м: NULL в пустовернёт . Пустой набор меняет результат.
Что выведет PostgreSQL?
SELECT
NULL IN (SELECT 1 WHERE FALSE) AS a,
NULL NOT IN (SELECT 1 WHERE FALSE) AS b;
Ответ: `
NULL.NULL👍6🔥2🤯2👎1
ИИ-агент, который только отвечает на вопросы, — это уже прошлый этап. Следующий шаг — научить его работать с реальными системами. Чтобы ИИ-решения приносили пользу бизнесу, агентам нужно получать данные из корпоративных систем, обращаться к базам данных и выполнять действия через внешние инструменты. Но такие интеграции требуют продуманной архитектуры и контроля безопасности.
На открытом уроке 20 октября в 20:00 МСК разберем, как связать ИИ-агентов с корпоративной инфраструктурой с помощью Tool Calling и MCP. Вы узнаете, как агенты взаимодействуют с API, базами данных и внутренними сервисами, а также какие подходы помогают безопасно управлять их действиями.
Урок пройдет в преддверие старта курса «ИИ-архитектор».
Научитесь проектировать ИИ-агентов, которые не просто генерируют ответы, а решают реальные задачи: https://otus.pw/cid2/?erid=2W5zFJRGV85
Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963.
На открытом уроке 20 октября в 20:00 МСК разберем, как связать ИИ-агентов с корпоративной инфраструктурой с помощью Tool Calling и MCP. Вы узнаете, как агенты взаимодействуют с API, базами данных и внутренними сервисами, а также какие подходы помогают безопасно управлять их действиями.
Урок пройдет в преддверие старта курса «ИИ-архитектор».
Научитесь проектировать ИИ-агентов, которые не просто генерируют ответы, а решают реальные задачи: https://otus.pw/cid2/?erid=2W5zFJRGV85
Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963.
❤1👎1
🌍 SQL-задача: ближайшие точки на замкнутой карте
Карта 100 × 100: противоположные края соединены. Между координатами
Для каждой точки найдите всех ближайших соседей, исключая саму точку.
Ответ:; ; . Расстояние во всех случаях √8 ≈ 2,828.
Подвох: по каждой оси выбираем минимум между прямым путём и переходом через границу. сохраняет все равные минимумы, а ранжирование по квадрату расстояния позволяет вычислить корень только при выводе.
Карта 100 × 100: противоположные края соединены. Между координатами
1 и 99 через границу всего 2 единицы.Для каждой точки найдите всех ближайших соседей, исключая саму точку.
WITH points(id, x, y) AS (
VALUES (1, 1, 1), (2, 99, 99), (3, 3, 99)
),
distances AS (
SELECT a.id, b.id AS neighbor,
POWER(LEAST(ABS(a.x-b.x), 100-ABS(a.x-b.x)), 2)
+ POWER(LEAST(ABS(a.y-b.y), 100-ABS(a.y-b.y)), 2) AS d2
FROM points a
JOIN points b ON a.id <> b.id
),
ranked AS (
SELECT *,
DENSE_RANK() OVER (
PARTITION BY id ORDER BY d2
) AS r
FROM distances
)
SELECT id, neighbor, SQRT(d2) AS distance
FROM ranked
WHERE r = 1
ORDER BY id, neighbor;
Ответ:
1 → 2, 32 → 13 → 1DENSE_RANK()❤5🔥4👍3😁1
ИИ-агент отвечает настолько точно, насколько готовы ваши данные. Как понять, что они готовы?
Разберёмся 23 октября в Москве на Fine Day 2026, офлайн-конференции о переходе от self-service BI к AI-native аналитике.
💡 В программе:
• дискуссия с руководителями аналитики ПИК, ДИКСИ, СИБУР и АвтоВАЗ: что нужно данным и командам для работы с ИИ
• миграция с Qlik и Power BI на FineBI, в том числе с помощью ИИ-агентов
• BI-система vs LLM: какие задачи кому отдавать, опыт Мосбиржи
демо FineBI 7.0 и ИИ-агентов Dora, можно принести свой сценарий
Участие бесплатное. После регистрации получите чек-лист «Готовы ли ваши данные к ИИ-агенту?» из 25 вопросов.
👉 Регистрация: https://clck.ru/3WMPsm
Реклама: ООО «ГЛОУБАЙТ АНАЛИТИЧЕСКИЕ РЕШЕНИЯ» ИНН: 9729274905
ERid: 2VtzqvJYWyT
Разберёмся 23 октября в Москве на Fine Day 2026, офлайн-конференции о переходе от self-service BI к AI-native аналитике.
💡 В программе:
• дискуссия с руководителями аналитики ПИК, ДИКСИ, СИБУР и АвтоВАЗ: что нужно данным и командам для работы с ИИ
• миграция с Qlik и Power BI на FineBI, в том числе с помощью ИИ-агентов
• BI-система vs LLM: какие задачи кому отдавать, опыт Мосбиржи
демо FineBI 7.0 и ИИ-агентов Dora, можно принести свой сценарий
Участие бесплатное. После регистрации получите чек-лист «Готовы ли ваши данные к ИИ-агенту?» из 25 вопросов.
👉 Регистрация: https://clck.ru/3WMPsm
Реклама: ООО «ГЛОУБАЙТ АНАЛИТИЧЕСКИЕ РЕШЕНИЯ» ИНН: 9729274905
ERid: 2VtzqvJYWyT
❤3🔥3👍2
🧩 SQL-задача: почему `LAG()` здесь подведёт?
Есть интервалы работы сервера. Время указано в минутах:
Объедините пересекающиеся и соприкасающиеся интервалы. Вложенные интервалы тоже учитываются.
Ожидаемый результат:
Попробуйте решить до просмотра ответа 👇
Решение для PostgreSQL:
Подвох:
Нужен максимальный конец среди всех предыдущих строк, а не только конец соседней.
Есть интервалы работы сервера. Время указано в минутах:
id | start_at | end_at
---+----------+-------
1 | 1 | 10
2 | 2 | 3
3 | 9 | 12
4 | 15 | 16
5 | 16 | 20Объедините пересекающиеся и соприкасающиеся интервалы. Вложенные интервалы тоже учитываются.
Ожидаемый результат:
start_at | end_at
---------+-------
1 | 12
15 | 20
Попробуйте решить до просмотра ответа 👇
Решение для PostgreSQL:
WITH bounds AS (
SELECT *,
MAX(end_at) OVER (
ORDER BY start_at, end_at, id
ROWS BETWEEN UNBOUNDED PRECEDING
AND 1 PRECEDING
) AS prev_max
FROM intervals
),
marked AS (
SELECT *,
CASE WHEN prev_max IS NULL
OR start_at > prev_max
THEN 1 ELSE 0 END AS new_group
FROM bounds
),
grouped AS (
SELECT *,
SUM(new_group) OVER (
ORDER BY start_at, end_at, id
ROWS UNBOUNDED PRECEDING
) AS grp
FROM marked
)
SELECT MIN(start_at) AS start_at,
MAX(end_at) AS end_at
FROM grouped
GROUP BY grp
ORDER BY start_at;
Подвох:
LAG(end_at) для интервала [9,12] вернёт 3 и ошибочно начнёт новую группу. Но более ранний интервал [1,10] всё ещё перекрывает его.Нужен максимальный конец среди всех предыдущих строк, а не только конец соседней.
👍7❤5🔥3👏1
🧮 Математика для ИИ на русском: от школьной базы до трансформеров и диффузии
Бесплатный курс-шпаргалка на GitHub, который связывает формулы с их применением в ML: интуиция → формула → иллюстрация → код на NumPy → задачи.
Внутри:
• Линейная алгебра, производные, вероятности и статистика.
• Backpropagation, оптимизаторы, функции потерь и attention.
• Генеративные модели, обучение с подкреплением, RAG и рекомендации.
Для практики: 26 Jupyter-ноутбуков с запуском в Colab, 60 задач с решениями и 160 вопросов с собеседований. Есть карточки Anki и глоссарий RU ↔ EN.
Если математика забылась, предусмотрен отдельный справочник с нуля: от дробей и процентов до интегралов и матриц.
https://github.com/justxor/math-for-ai-2026
Бесплатный курс-шпаргалка на GitHub, который связывает формулы с их применением в ML: интуиция → формула → иллюстрация → код на NumPy → задачи.
Внутри:
• Линейная алгебра, производные, вероятности и статистика.
• Backpropagation, оптимизаторы, функции потерь и attention.
• Генеративные модели, обучение с подкреплением, RAG и рекомендации.
Для практики: 26 Jupyter-ноутбуков с запуском в Colab, 60 задач с решениями и 160 вопросов с собеседований. Есть карточки Anki и глоссарий RU ↔ EN.
Если математика забылась, предусмотрен отдельный справочник с нуля: от дробей и процентов до интегралов и матриц.
https://github.com/justxor/math-for-ai-2026
🔥13❤5👍1
Как мы перешли от CatBoost к нейросетям в рекомендациях Авито
Рекомендации на главной дают Авито половину просмотров объявлений и около 30% контактов покупателей с продавцами. С 2020 года их ранжировал CatBoost, но со временем он упёрся в потолок: даже кратно больше данных уже не давало прироста качества.
Мы перешли на нейросетевое ранжирование, и вот что получилось:
🚀 +4,3% пользователей с контактами из рекомендаций
🤝 +0,8% пользователей, совершивших сделку, по всему Авито
Техлид команды рекомендаций Ярослав Хныков рассказал на Хабре, какие решения сработали.
Больше про DS в Авито пишем в канале «Доска AI-объявлений».
Рекомендации на главной дают Авито половину просмотров объявлений и около 30% контактов покупателей с продавцами. С 2020 года их ранжировал CatBoost, но со временем он упёрся в потолок: даже кратно больше данных уже не давало прироста качества.
Мы перешли на нейросетевое ранжирование, и вот что получилось:
Техлид команды рекомендаций Ярослав Хныков рассказал на Хабре, какие решения сработали.
Больше про DS в Авито пишем в канале «Доска AI-объявлений».
Please open Telegram to view this post
VIEW IN TELEGRAM
👍1👎1🔥1
Forwarded from Machinelearning
Microsoft-Decision-1 получает запрос и фиксированный набор вариантов и за один проход выдаёт откалиброванную вероятность для каждого. Да/нет, выбор из списка, рейтинг, оценка ответа ИИ или действия агента по рубрике. Внутри Qwen3.5-9B после пост-трейна.
На 36 закрытых бенчмарках, почти 150 тысяч вопросов, модель показала лучшую точность среди LLM и других decision-моделей. По задержке она в 4,5 раза быстрее ближайшего конкурента и в 35 раз быстрее GPT-6 Sol. На перефразированных и перемешанных вариантах решение меняется лишь в 1,3% случаев.
Внутри Microsoft её уже используют. Xbox Research разметили 10 тысяч отзывов с качеством уровня GPT-6 Sol, но в 14 раз быстрее и в 200 раз дешевле. В Copilot модель оценивает ответы агентов в 100 раз быстрее GPT-5.6 Luna.
Цена $0,042 за миллион входных токенов. Уже в Microsoft Foundry, скоро на OpenRouter.
https://commandline.microsoft.com/microsoft-decision-1-model-foundry/
@ai_machinelearning_big_data
#Microsoft
Please open Telegram to view this post
VIEW IN TELEGRAM
❤5👍5🥰2
🍃 Добавить реплику MongoDB, не копируя всю базу: что меняет Atlas Infinite
В привычной архитектуре каждый узел replica set хранит полную копию данных. Добавление реплики или изменение размера узла требует перемещения больших объёмов данных.
Atlas Infinite разделяет вычисления и хранение. Узлы выполняют запросы, а общий слой хранения, написанный на Rust, отвечает за журнал, страницы данных и долговечность. Вычислительные ресурсы и хранилище масштабируются независимо.
Самая интересная деталь: два журнала с разными задачами.
•
•
То есть подтверждение записи отделено от подготовки страниц для чтения.
Новая read replica подключается к общим страницам и догоняет хвост журнала. Ей не нужно сначала копировать всю базу. А данные шифруются на вычислительном узле: общий storage-слой работает с зашифрованным содержимым.
Для приложения сохраняются протокол, драйверы и семантика операций. Меняется инфраструктура под базой. Atlas Infinite пока в public preview.
Хороший разбор для тех, кому интересны внутренности СУБД:
https://muratbuffalo.blogspot.com/2026/10/atlas-infinite-mongodbs-disaggregated.html
@sqlhub
В привычной архитектуре каждый узел replica set хранит полную копию данных. Добавление реплики или изменение размера узла требует перемещения больших объёмов данных.
Atlas Infinite разделяет вычисления и хранение. Узлы выполняют запросы, а общий слой хранения, написанный на Rust, отвечает за журнал, страницы данных и долговечность. Вычислительные ресурсы и хранилище масштабируются независимо.
Самая интересная деталь: два журнала с разными задачами.
•
oplog фиксирует логические операции. Запись подтверждается после устойчивого сохранения большинством реплик журнала.•
phylog передаёт физические изменения страниц при checkpoint, сохраняя пакетную обработку WiredTiger.То есть подтверждение записи отделено от подготовки страниц для чтения.
Новая read replica подключается к общим страницам и догоняет хвост журнала. Ей не нужно сначала копировать всю базу. А данные шифруются на вычислительном узле: общий storage-слой работает с зашифрованным содержимым.
Для приложения сохраняются протокол, драйверы и семантика операций. Меняется инфраструктура под базой. Atlas Infinite пока в public preview.
Хороший разбор для тех, кому интересны внутренности СУБД:
https://muratbuffalo.blogspot.com/2026/10/atlas-infinite-mongodbs-disaggregated.html
@sqlhub
❤5🔥5👍3