🕵️‍♂️ История миграции, которая стала настоящим инженерным испытанием

В рекламных технологиях VK есть key-value хранилище на Tarantool. Самый крупный кластер хранил 150 ТБ данных и обрабатывал около 30 млн запросов на чтение в секунду.

Такую систему нельзя просто остановить, перенести и включить обратно.

Нужно сохранить доступность, не потерять данные и заранее подготовиться к тому, что часть проблем проявится только в процессе.

Поэтому наши коллеги строили миграцию от худших сценариев: проверяли работу со снапшотами, усиливали резервное копирование, адаптировали мониторинг и использовали подходы из defensive programming.

🔖 Принцип простой: если что-то может пойти не так — лучше считать, что так и будет.

Итог: во внутреннее облако VK — One-Cloud — переехали 8 кластеров и более 300 ТБ данных. За счет уплотнения ресурсов удалось сэкономить 8000 виртуальных ядер, а за весь процесс зарегистрировали один инцидент среднего приоритета.

➜ Читайте полную историю на Хабре

🔗 Мы в MAX

📊 Как превратить сырые данные в бизнес-события

Чтобы принимать решения вовремя, бизнесу нужны данные, которые отражают ситуацию прямо сейчас.

👇 Представим запуск нового продукта.

Утром в MDM появляются новые SKU, днем они уже продаются, а к вечеру руководству нужно понять их долю в выручке. Но если данные проходят через ночные загрузки и долгий контур публикации, аналитика может показать неполную картину или не успеть учесть новые товарные коды.

В статье подробно разбираем, как этот разрыв помогают закрыть Data Fabric и HTAP.

Вот главное:

🔵Data Fabric обогащает сырые события контекстом из разных источников и превращает их в осмысленные бизнес-события
🔵HTAP позволяет выполнять транзакционные и аналитические запросы в одной системе без копирования данных между OLTP- и OLAP-контурами
🔵Tarantool Column Store помогает получать актуальные данные для отчетов менее чем за минуту.

👆 Так бизнес видит понятные показатели, на основе которых можно принимать решения здесь и сейчас.

➜ Читайте статью на Хабре

📬 Мы в MAX

😀 Восемь из десяти крупнейших российских банков используют Tarantool — и ВТБ среди них. Банк построил на нашей платформе единую витрину маркетинговых предложений для розничных клиентов. 

О чем речь?

У ВТБ несколько каналов общения с клиентами: мобильное приложение, колл-центр, точки продаж, АТМ — и на каждого клиента приходится более десятка персональных предложений. Раньше каждый канал работал со своей копией этих предложений, которая обновлялась с задержкой: клиент воспользовался предложением в мобильном приложении, а точка продаж узнавала об этом только на следующий день.

✅Как Tarantool решил проблему

Теперь более десяти предложений на каждого из 50 миллионов клиентов хранятся в единой витрине на Tarantool, к которой в реальном времени обращаются все каналы сразу. Витрина публикует и актуализирует предложения по расписанию или в ответ на действия клиента, а каналы получают из нее актуальный список и рассылают коммуникации через push, СМС и чат-бот — без задержек.

В результате 90 000 запросов в секунду, ~500 инстансов в кластере, 90% предложений доставляется до канала быстрее чем за 100 мс.

🔥 — если тоже цените такую скорость

➜ Читайте кейс ВТБ в нашем блоге. 

🔗 Мы в MAX

Идеальный CDC-инструмент — он какой?

В Tarantool мы разрабатываем CDC — инструмент для непрерывной передачи данных в реальном времени между различными источниками и приемниками. И мы очень хотим сделать его максимально полезным для реальных сценариев.

Расскажите о своем опыте:

🔵какие источники и приемники данных вы используете
🔵какие коннекторы нужны
🔵насколько важны преобразования данных в потоке
🔵с какими системами мониторинга и алертинга должна интегрироваться платформа
🔵какие задачи вы готовы делегировать AI-ассистенту, если бы он был встроен в CDC-инструмент.

Опрос займет не более десяти минут, а ваш опыт может повлиять на то, каким будет продукт.

🔜 Пройти опрос.

🔗 Мы в MAX

📊 Что меняется на рынке СУБД

Команда Tarantool провела исследование и пообщалась с экспертами из 170+ компаний, чтобы понять, как бизнес развивает инфраструктуру данных под критичные нагрузки.

Фокус — транзакционные СУБД и On-Premise решения. Хотели понять, что выбирают команды, какие требования становятся важнее и куда движется рынок.

По итогам исследования выделили пять трендов развития рынка СУБД:

🔹 Компании уходят от монолитной архитектуры и комбинируют Open Source, вендорские продукты, облако и On-Premise

🔹 Безопасность и управление рисками становятся одним из ключевых критериев выбора СУБД

🔹 Векторные индексы набирают интерес под AI-сценарии, но крупным компаниям часто удобнее использовать их в уже внедренных СУБД

🔹 ИИ-ассистенты помогают упростить доступ к данным и снизить поток запросов к дата-командам

🔹 HTAP рассматривают для сценариев real-time-аналитики, где важно работать со свежими данными без лишних задержек

Главный вывод
Компании все чаще уходят от идеи единой базы под все сценарии. Вместо этого они собирают гибкую инфраструктуру, где у каждого компонента своя задача.

➜ Ставьте 🔥, если ждете разбор с цифрами, выводами и полной версией исследования

🔗 Мы в MAX

Как одна строчка кода стала ядром высоконагруженных систем

В 2008 году мы создали внутреннюю базу данных Mail.ru для работы с экстремальными нагрузками. А спустя два года, 12 августа 2010 года, появился первый публичный коммит — 9b8dd7032d05... с лаконичным сообщением.

Тогда никто не подозревал, что из утилиты для прогрева кэша вырастет платформа Tarantool, на которой в 2026 году будут крутиться транзакции крупнейших банков, биллинг операторов и остатки товаров маркетплейсов.

За эти годы платформа росла вместе с задачами инженеров.

✅Не хватало производительности железа — придумали архитектуру In-Memory, которая позволяет хранить данные в оперативной памяти и выжимать максимум RPS из одного потока без блокировок.

✅Сбои мешали работе — создали собственный WAL и механизм снэпшотов, обеспечивающих сохранность данных.

✅Не хватало памяти — добавили дисковый движок vinyl и модуль cooler для автоматического переноса редко используемых данных на диск.

✅Управлять кластерами стало сложнее — разработали централизованную декларативную конфигурацию Tarantool 3.x и визуальный интерфейс Tarantool Cluster Manager.

✅Понадобилась быстрая аналитика — написали колоночный движок MEMCS.

✅Захотели скоростную потоковую обработку данных — сделали Tarantool Queue Enterprise и Tarantool CDC.

Tarantool — пример того, как внутренняя система может вырасти в целый комплекс продуктов для систем хранения и потоковой обработки данных в высоконагруженных сервисах.

С 18-летием! Держим нагрузку дальше 🚀

⚡️Команда Tarantool CDC открыла исходный код своего форка OpenLogReplicator для работы с Oracle ASM на Linux и Solaris SPARC64. Код можно изучить и использовать в своей инфраструктуре.

В открытом доступе также появились инструменты для сборки Docker-образов.

Что добавили:
🌟чтение данных Oracle ASM по сети и напрямую с блочных устройств
🌟гибридную работу с архивными журналами в Oracle ASM и файловой системе
🌟переключение на зеркальные копии Oracle ASM при ошибках чтения
🌟поддержку Solaris SPARC64 и исправления для big-endian
🌟сценарии сборки под Debian и CentOS 7 и кросс-компиляции под Solaris SPARC64
🌟подготовку архивов с бинарными файлами.

OpenLogReplicator отслеживает изменения в Oracle Database, напрямую читая журналы REDO. Данные передаются в формате JSON или Protobuf. Их можно отправлять в Kafka, сохранять в файлы или передавать по сети.

🤗Открытый код позволит другим пользователям применять эти изменения, обмениваться опытом и участвовать в развитии OpenLogReplicator.

📲 Мы в МАХ

Ищете товар «как на этой картинке» на маркетплейсе или получаете внятный ответ в чат-боте поддержки — за этим стоит ИИ, внедрение которого 45% российских компаний считают своим приоритетом в 2026 году.

🤖 Где ИИ встречается с базами данных

У всех этих сценариев есть общий технический корень: поиск по смыслу, а не по совпадению слов. Для этого текст или картинку превращают в набор чисел — вектор, и система ищет ближайшие по смыслу объекты.

Вопрос в том, где эти векторы хранить и обрабатывать: выбрать поставку отдельной специализированной векторной базы данных или встраивать векторный поиск в уже существующие.

Как выбрать?

В совместном материале с Hi-Tech Mail бизнес-лидер направления Data Services в VK Tech Владимир Озеров разобрал кейсы крупных компаний и объяснил, когда отдельная векторная база оправданна, а когда станет лишь лишней тратой бюджета.

🔜 Читать колонку

🔗 Мы в MAX

Tarantool DataBase 3.2.0: холодные данные можно хранить экономнее

Вышел Tarantool DataBase 3.2.0. В новой версии улучшили работу с кэшем в vinyl для сценариев охлаждения и прогрева данных.

Vinyl хранит данные на диске и использует оперативную память как кэш. Часто запрашиваемые данные остаются в кэше для быстрого доступа, а прочие постепенно вытесняются из него. Это позволяет не занимать оперативную память данными, к которым система обращается редко.

Управлять охлаждением стало проще

Модуль cooler обновился до версии 0.1.3. Теперь проще контролировать состояние данных и использование кэша:
🔵cooler.locate() помогает определить расположение данных
🔵новые метрики показывают объем данных и количество записей в разных слоях хранения
🔵cooler.info() выводит размер memtx-спейса в байтах.

В документации появились рекомендации по настройке охлаждения и прогрева данных, а также пример использования кэша в vinyl. Дополнительно опубликованы новые материалы о безопасности и ограничениях Tarantool DataBase.

Следующий шаг — интеграция с LDAP

Команда подготовила RFC будущей интеграции Tarantool DataBase с корпоративными LDAP-каталогами. В дальнейшем это позволит централизованно управлять аутентификацией пользователей через применяемые в компаниях системы управления доступом.

👉 Больше подробностей о Tarantool найдете здесь.

🔗 Мы в MAX