Что под капотом объектного хранилища VK Cloud

Компании работают с петабайтами данных — неструктурированных, разного формата и не всегда нужных в «горячем» доступе. Хранить все в традиционных базах данных нерационально. Поэтому бизнес все чаще переходит на такие объектные S3-хранилища, как Object Storage.

В новой статье на Хабре Андрей Капустин, менеджер продукта Tarantool в VK Tech, показывает архитектуру хранилища и место Tarantool в ней.

В статье объясняется, как устроены:
🔹 три уровня Object Storage (Fronts, Metadata, Storage);
🔹 система доступа и ACL;
🔹 распределенность между ЦОДами и отказоустойчивость.

Tarantool лежит в основе слоя метаданных и отвечает за масштабируемость, надежность и производительность хранения. Автор дает в статье примеры с диаграммами, реальные метрики и планы развития продукта.

➜ Читайте статью на Хабре

Tarantool на VK Cloud Conf 2025: расскажем про наш взгляд на Lakehouse

26 июня в Москве пройдет конференция VK Cloud Conf, посвященная облачным технологиям и реальным практикам их применения. В программе — доклады инженеров VK Cloud, подходы к инфраструктуре и работе с данными.

Обратите внимание на выступление Сергея Харламова, руководителя по развитию Tarantool в VK Tech:

🎙 «Lakehouse по-нашему — Tarantool Column Store (IZBA). Видение современной платформы аналитики»

Регистрируйтесь на онлайн-формат конференции и смотрите доклады в прямом эфире.

➜ Смотрите полную программу конференции и регистрируйтесь

Вчера на конференции VK Cloud Conf'2025 Сергей Харламов, руководитель по развитию Tarantool в VK Tech, представил свой доклад «Lakehouse по-нашему — Tarantool Column Store (IZBA). Видение современной платформы аналитики» в треке Данные.

Делимся записью выступления и желаем приятного просмотра!

У нас отличный повод встретиться: сразу два полезных доклада и много пиццы. Приходите на офлайн-встречу или следите за онлайн-трансляцией.

⏰ 9 июля, регистрация с 18:00
📍 Ленинградский проспект, 70. Офис VK Tech, вход Север, 3 этаж

Программа

🔹 19:00–20:00, «Автофейловер и данные в двух дата-центрах»

Расскажем про разные аварии, нюансы распределенных блокировок а-ля redlock. Про fencing tokens, двухфазные вызовы, плюсы и минусы внешнего состояния, особенности разбора проблем и подходы к усилению мощности тестирования.

🎙 Спикеры: Александр Туренко и Георгий Белянин, разработчики Tarantool

🔹 20:10–21:10, «Алгоритмы для непрерывной обработки запросов»

Рассмотрим алгоритмические методы в основе современных систем анализа потоковых данных, таких как Apache Flink, включая инкрементальные вычисления, приближенную и адаптивную обработку запросов, и многое другое.

🎙 Спикер: Рене ван Беверн, руководитель направления больших данных, Исследовательский институт Ломоносова

🔹 Афтепати

➜ Зарегистрируйтесь на офлайн-митап

Tarantool подтвердил соответствие требованиям ФСТЭК России

СУБД Tarantool Plus от VK Tech получила обновленный сертификат соответствия ФСТЭК. Это означает, что решение продукт соответствует требованиям безопасности для средств защиты информации и ИТ-систем.

В состав сертифицированного продукта входят:

🔹 Tarantool Database — высокопроизводительная in-memory NoSQL СУБД
🔹 Clusters Federation — модуль для построения отказоустойчивых конфигураций

➜ Читайте подробности

Tarantool в топ-5 рейтинга конвергентных СУБД 2025 по версии CNewsMarket

СУБД Tarantool Database и Tarantool Column Store от VK Tech вошли в пятерку лидеров рейтинга «Конвергентные СУБД 2025», опубликованного CNewsMarket. Это самый высокий результат среди всех отечественных in-memory баз данных. В оценке учитывались универсальность, функциональность и соответствие требованиям сертификации.

Tarantool — фреймворк для создания высоконагруженных СУБД, разработанный на основе собственной open-source технологии с 15-летней историей.

В основе готовых решений Tarantool от VK Tech лежат отказоустойчивые in-memory базы данных, инструменты для мгновенной репликации и эффективные средства горизонтального масштабирования, подходящие как для высоконагруженных транзакционных систем, так и для аналитики в реальном времени.

Продукты Tarantool активно используются в критичных ИТ-системах, поддерживают отказоустойчивые кластеры и сертифицированы по требованиям ФСТЭК.

➜ Смотрите полный рейтинг и методологию оценки

Петербургская Биржа и VK Tech разработали программно-технический комплекс на базе платформы Tarantool. Решение помогает в обработке заявок и клиринге на срочном рынке.

На испытаниях система показала стабильную работу при нагрузке более 100 тысяч заявок в секунду без снижения производительности.

➜ Читайте подробнее про кейс на сайте

В новой статье блога рассказываем, какие обновления готовятся для платформы Tarantool и чем они помогают бизнесу.

🔹 Что появится в Tarantool DB: дисковое хранение, диапазонный шардинг, отказоустойчивость для трех ЦОДов
🔹 Как развивается Tarantool Column Store: масштабирование, охлаждение данных, поддержка SQL
🔹 Где еще используется Tarantool: Object Storage, VK Data Lakehouse

➜ Читайте полную версию в блоге

LuaJIT считается одной из самых быстрых реализаций динамического языка программирования. В статье инженер Tarantool Максим Кокряшкин делится тем, какие механизмы стоят за его производительностью — от устройства runtime и сборщика мусора до трассирующего JIT-компилятора.

Tarantool, решение VK Tech класса middleware, использует LuaJIT как платформу для написания бизнес-логики и хранимых процедур. В статье — технические детали реализации, обзор DynASM, NaN tagging, инкрементального GC и трассирующего JIT.

➜ Читайте статью на Хабре

Фаззинг как основа эффективной разработки на примере LuaJIT

В СУБД Tarantool используется LuaJIT в качестве языкового рантайма, но в Tarantool используется не оригинальный проект, а его форк. В статье мы рассказываем, как перешли от пассивного использования его кода к поддержке форка.

🔹 Собрали и интегрировали тесты, достигнув покрытия 78% для строк и 67% для ветвлений.
🔹 Выстроили процесс бэкпорта патчей без риска вносить регрессию.
🔹 Внедрили фаззинг для Lua API, C API, кода Lua и байткода.
🔹 Снизили количество инцидентов в продакшене почти до нуля.
🔹 Добились покрытия фаззинг-тестами по строкам до 61% для LuaJIT и до 99% для PUC Rio Lua.
Делимся подходами, результатами и планами по дальнейшему тестированию сложных компонентов — от сборщика мусора до JIT-компилятора.

➜ Читайте статью на Хабре

Как проверить платформу умного дома на устойчивость, если она обслуживает сотни тысяч устройств, а тестировать надо прямо сейчас? Купить всю технику в магазине — не вариант.

В новом материале на Хабре ведущий разработчик Tarantool CDC Иван Банников рассказывает:

🔹 Как устроена IoT-платформа.
🔹 Где в ней могут быть узкие места.
🔹 Как нагрузочное тестирование помогло их найти.
🔹 При чем тут MQTT.

Это история о том, как началось знакомство автора с Tarantool и почему он в итоге пришел в команду.

➜ Читайте статью на Хабре

Tarantool — платформа для создания высоконагруженных СУБД, разработанная на основе собственной Open Source технологии с более чем 15-летней историей.

Быть с нами это: общаться с профессионалами (60% Senior-инженеров), жестко фокусироваться на коде, погружаться в продуктовую культуру и настоящие вызовы — от системной архитектуры до работы с десятками тысяч транзакций в реальном времени.

Ищем вас:

🔹 Руководитель проектов — вести команду, управлять сроками и бюджетами, синхронизировать планы и выстраивать работу с заказчиком.
🔹 Ведущий программист Rust — поддерживать код, разрабатывать новые фичи, тестировать, документировать и участвовать в code review.
🔹 Старший программист — придумывать и внедрять новые идеи, проектировать архитектуру, писать интерфейсы и нагрузочные тесты.

➜ Ждем отклики здесь

Получите глубокие знания по созданию и эксплуатации решений NoSQL на платформе Tarantool. Наши курсы специально подготовлены для разработчиков, администраторов, архитекторов и аналитиков.

📅 Даты пятого потока: 12 сентября — 30 октября.

На время обучения у каждого участника будет бесплатный доступ к виртуальному окружению для выполнения практических заданий. Теория изучается на образовательной платформе, практика проходит — в нашем облаке.

Что будем изучать:

🔹 архитектуру и топологию Tarantool
🔹 программирование на Lua
🔹 создание приложений
🔹 обслуживание и диагностика
🔹 администрирование, репликацию и шардирование

Оставьте заявку, чтобы присоединиться и прокачать экспертизу своей команды с Tarantool!

➜ Читайте подробности на сайте

На срочном рынке счет идет на миллисекунды. Любая задержка в обработке заявок грозит потерями для клиентов и подрывает доверие к бирже.

Чтобы система выдерживала нагрузку, Петербургская Биржа совместно с VK Tech разработала новый программно-технический комплекс на базе Tarantool — первой полностью российской СУБД.

Что умеет решение:

🔹 стабильно обрабатывать до 101,7 тыс. заявок в секунду;
🔹 гарантировать безопасное хранение данных и отказоустойчивость;
🔹 масштабироваться вместе с ростом нагрузки.

«Мы предлагаем наш ПТК для внедрения на других торговых площадках, заинтересованных в развитии услуг по организации торгов и клиринга», — отметил Павел Кахутин, управляющий директор Петербургской Биржи.

Следующий шаг — запуск решения в промышленную эксплуатацию.

➜ Читайте полную новость на сайте

Видеокамеры фиксируют все: лица, силуэты, машины, номера. Но как найти человека или автомобиль в базе, где уже больше миллиарда образов? 

Сервис FindFace в 2016 уже умел распознавать объект на видео, но оставался лишь прототипом. Поиск среди миллионов образов занимал более 10 секунд и нагружал СУБД, базы повреждались, а метаданные жили отдельно.

Казалось, продукту не хватит мощности, чтобы стать тиражируемым решением. Но команда Ntechlab нашла выход — построила работу на Tarantool.

Вместо полного перебора по базе использовались индексы:
🔹 Обычный индекс быстро фильтровал данные по камерам и времени.
🔹 Быстрый индекс для биометрических векторов ускорил поиск в 10 раз.
🔹 В отдельных случаях оба подхода комбинировались.

Итог впечатляет:

🔹 Поиск одного лица среди миллиарда образов занимает 0,5 секунды. 🔹 Более миллиарда образов может храниться в Tarantool.
🔹 Один шард Tarantool обрабатывает 13,4 млн образов в секунду (в проектах — сотни и тысячи шардов параллельно).

Сегодня FindFace — это готовое решение для контроля доступа, предупреждения мошенничества, безопасности и аналитики. Мы рады, что Tarantool стал ключевой частью этой истории, взяв на себя хранение, поиск и выполнение запросов к данным.

➜ Читайте полный кейс на сайте

Первый коммит два года назад, мощное, но слишком гибкое решение, которое тянуло вниз бизнес-логику. Однопоточность, долгий time-to-market, архитектурные ограничения. Так начиналась история Tarantool DB.

☝️ Из этих проблем вырос продукт с единым механизмом миграций, встроенным шардингом, коннектором и словарями.

Сегодня у Tarantool DB уже два мажорных релиза, документация с примерами, свой цикл тестирования и тренинг для разработчиков. А впереди — Tarantool DB 3.0 с поддержкой хранения данных на диске.

Этой историей поделился тимлид разработки Александр Кленов на Хабре.

➜ Читать статью

Tarantool — не просто in-memory база данных, а целая платформа для высоконагруженных систем. Команда Bercut показала, как развернуть кластеры Tarantool и Tarantool Vshard прямо в Kubernetes.

Они написали собственный Operator, который:

🔹 управляет PodSet и ролями (Storage, Router);
🔹 хранит метаданные кластера в etcd;
🔹 согласовывает Tarantool Vshard,
🔹 интегрируется с ArgoCD для GitOps.

В итоге получилась архитектура, где Tarantool остается центром обработки данных, а Kubernetes отвечает за удобство управления и доставку.

➜ Читайте полную историю на Хабре