Оптимизации функционала Apache Iceberg в задачах real-time загрузки и обработки данных

📝В блоге Data Sapience на Habr вышла новая статья.

Технические лидеры направления разработки Apache Spark в составе платформы Data Ocean Андрей Первушин и Дмитрий Паршин рассказывают:
▫️С какими проблемами можно столкнуться при реализации Upsert Streaming в Iceberg;
▫️Что такое equality delete;
▫️Почему они создают нагрузку при чтении таблиц в Apache Iceberg;
▫️Как оптимизировали Apache Spark, чтобы снизить потребление памяти и ускорить чтение данных.

🔗Читать полностью

⚙️ Как оценить и обосновать экономические характеристики инфраструктуры для ИИ

🎤 Маршаков Илья, руководитель платформы Kolmogorov AI, — в интервью издательству «Открытые системы».

Эксперт Data Sapience вместе с другими ведущими представителями сферы рассказывает о:
▫️Ключевых моментах экономического обоснования инвестиций в инфраструктуру для ИИ-моделей;
▫️Особенностях их «экономики» в зависимости от выбранной модели развертывания инфраструктуры.

🔗Читать интервью

Проверяем популярные движки вычислений на задаче BI-доступа с помощью теста ClickBench ⚡️

📝В блоге Data Sapience на Habr вышла новая статья.

В публикации команда Data Sapience, используя бенчмарк ClickBench:
▫️пробует разобраться в производительности популярных MPP-движков в специализированной задаче ХД — предоставлении доступа к денормализованной витрине данных;
▫️отвечает на вопрос: нужен ли ClickHouse в аналитическом ландшафте, спроектированном по принципу Lakehouse-платформ?

🔗Читать полностью

⚡️Кейсы для Global CIO: внедрение Lakehouse-платформы Data Ocean Nova в Альфа-Банк

Мы начинаем цикл публикаций, посвященный участию Data Sapience в конкурсе «Проект года» от Global CIO. Сегодняшний пост — о совместном проекте с Альфа-Банком.

🎯Что позволило внедрение Data Ocean Nova в Альфа-Банк?
▫️Решилась задача Real-time Data Hub;
▫️Получаются оперативные изменения из 200+ систем;
▫️Сократился зоопарк технологий;
▫️Понизилась стоимость IT-инфраструктуры банка.

🏆Каких результатов достигли?
▫️Поток изменений данных — 7 000 RPS Upsert операций с продолжительными пиковыми значениями до 15 000 RPS;
▫️> 200 таблиц загружаются онлайн в режиме Upsert;
▫️В системе суммарно — ~600 Тб сжатых полезных данных в S3;
▫️Текущие мощности рассчитаны на хранение 2,4 Пб данных в сжатом виде;
▫️Планируется расширение до 6 Пб в течение полутора лет;
▫️Производительность объектного хранилища S3 — 45/70 (Put/Get) гигабайт/с.

Проголосуйте за проект на сайте Global CIO ✔️

Data Sapience — на встрече GlowByte и «Сарафана» по мотивам «Мастера и Маргариты» 📖

🎤Директор платформы CVM-маркетинга CM Ocean Владимир Носиков стал героем иммерсивной части мероприятия.

Спикер рассказал про модули платформы CM Ocean, которые: помогают монетизировать клиентскую базу на всех этапах жизненного цикла, включая:
▫️привлечение;
▫️развитие клиента (cross-sell и up-sell кампании);
▫️работу с оттоком.
Кроме того, были продемонстрированы возможности AI-автоматизации CVM-подразделения.

«„Сарафан“ — уникальная площадка, которая объединяет сильнейших экспертов по CVM и задает тон развитию всей отрасли. В этот раз особенно показательно, что на сцене выступили компании, которые не просто экспериментируют с ИИ, а уже внедряют LLM-модели и AI-агентов в реальные процессы — и получают измеримый эффект. „Сарафан“ вновь показал, что российский рынок CVM зрел, амбициозен и готов к следующему этапу — созданию интеллектуальных экосистем, где AI перестает быть модным словом и становится рабочим инструментом роста», — говорит Владимир Носиков, директор платформы CVM-маркетинга CM Ocean, Data Sapience.

🔗Читать полностью

Data Sapience показала рекордный рост среди лидеров российского рынка СУБД 🏆

🚀 Компания достигла значительных результатов в рейтинге крупнейших разработчиков СУБД 2024 CNews Analytics, заняв 8 позицию и продемонстрировав максимальный среди участников топ-10 прирост выручки — 590%.

Вендор развивает cемейство российских IT-продуктов Data Ocean, ориентированное на работу с большими данными, которое включает в себя:
▫️Универсальную Lakehouse-платформу данных Data Ocean Nova;
▫️Инструмент для пакетной репликации и интеграции данных Data Ocean Flex Loader;
▫️Low-code инструмент для потоковой обработки и репликации данных Data Ocean SDI.

⚡️Достижения Data Sapience демонстрируют укрепление позиций отечественных технологических решений в сфере управления большими данными и подтверждают растущий спрос на российские IT-продукты.

⚡️Кейсы для Global CIO: система персонализированного маркетинга

Рассказываем про совместный проект Data Sapience и Азиатско-Тихоокеанского Банка. На базе CVM-платформы CM Ocean создана система, обеспечившая значительное повышение эффективности управления клиентской базой.

🎯Что позволило внедрение?
▫️Снижение затрат на коммуникацию с клиентами на 69% за счет автоматизации и оптимизации каналов взаимодействия;
▫️Увеличение покрытия клиентской базы персональными предложениями на 42%, что обеспечило более точную таргетизацию;
▫️Повышение уровня целевых коммуникаций с одновременным улучшением показателя NPS и снижением объема негативных отзывов благодаря релевантности контента.

🔥Система полностью интегрирована в инфраструктуру и готова к дальнейшему развитию. Проект демонстрирует высокий ROI и становится основой для развития клиентоцентричных инициатив банка.

Проголосуйте за проект на сайте Global CIO ✔️

Видео с Data Sapience Data Day стали доступны🔥

В плейлистах доклады:

▫️Открытие конференции;

▫️Путешествие Альфа-Банка к дому у озера: цели, вызовы, успехи, планы;

▫️От хаоса к Lakehouse, или Как привлечь внимание к платформе данных Магнита;

▫️Бесшовная интеграция Data Governance & Data Quality, или Как внедрить качество данных в ДНК компании;

▫️Использование Data Ocean Flex Loader в аналитическом ландшафте Газпромбанка;

▫️Импортозамещение на службе клиентских данных;

▫️Дата-стратегия 2025-2026. Движение платформы в Self-Service;

▫️Платформа управления данными, как найти свой путь развития;

▫️Через тернии к Data Ocean Nova. Как выбрали Lakehouse-платформу для миграции классического DWH;

▫️DATA GOVERNANCE 3–5–15: стратегическая карта управления данными в эпоху искусственного интеллекта;

▫️Платформа данных Data Ocean сегодня. Планы развития;

▫️Data Ocean Governance. Развитие управления данными.

🔗Подробнее о мероприятии и докладах

📹 Смотреть: VK видео|Rutube|YouTube

Data Sapience приняла участие в FINANCE CRM FORCE 2025⚡️

🎤На мероприятии выступил директор платформы CVM-маркетинга CM Ocean Владимир Носиков.

Спикер рассказал о:
▫️применении GenAI и AI-агентов при построении aCRM-систем;
▫️пользе, которую они могут принести;
▫️отличиях классического CVM от AI-driven CVM;
▫️переходе от ручных кампаний к автономной интеллектуальной системе.

Кроме того, эксперт выделил ключевые области применения AI-агентов и GenAI и представил два новых продукта:
▫️CM Ocean.Control-AI – LLMOps-платформу построения AI-агентов;
▫️LLM-портал – корпоративный инструмент работы с LLM-моделями.

🔗Читать полностью

⚡️Кейсы для Global CIO: внедрение CVM-платформы национального масштаба

В ИТ-ландшафт «Национальных лотерей» внедрена платформа CVM-маркетинга CM Ocean. Решение проинтегрировано с основными каналами коммуникаций, в неё перенесены все кампании по развитию клиентской базы.

🎯Что позволило внедрение?
▫️Запускать в 5 раз больше кампаний, включая автоматические кампании по расписанию;
▫️Охватить коммуникациями все этапы жизненного цикла клиента: от привлечения до удержания;
▫️Повысить отклик на предложения за счет углубленной сегментации и единых правил контактной политики;
▫️Снизить трудозатраты бизнес-пользователей на запуск коммуникаций и собрать данные об эффективности запусков в одной системе.

🔥В результате проекта был запущен первый в России CVM-маркетинг в сегменте лотерей на отечественном промышленном ПО.

Проголосуйте за проект на сайте Global CIO ✔️

Data Sapience — финалист конкурса Retail TECH проектов 2025

🛒 Проект «Математически тонко: как Лента оптимизировала CVM-процессы на основе оркестратора и увеличила товарооборот на 12%» на основе платформы CM Ocean участвовал в номинации «CRM&Loyalty Leader».

🎤В питчинге принял участие руководитель направления целевого маркетинга и сегментации группы «Лента» Артем Штельмах.

За три месяца команде удалось не просто внедрить оптимизатор, но и достичь существенных результатов:
▫️В рамках одной задачи на формирование плана коммуникаций на день участвуют 10 млн клиентов;
▫️В рамках одного сценария в день формируется план на 15 млн коммуникаций;
▫️Конверсия в целевое действие увеличена на 11%;
▫️Прирост дополнительного товарооборота — 12%;
▫️Затраты на коммуникации снижены на 24%;
▫️Архитектура свободно масштабируется до 600 млн коммуникаций;
▫️Весь процесс отработки оптимизационного сценария занимает не более 10 минут.

🔗Читать полностью

⚡️Кейсы для Global CIO: единая платформа взаимоотношений с клиентами

В рамках проекта в Россельхозбанке на базе CM Ocean была создана высокопроизводительная платформа для управления коммуникациями 💬

🏆Каких результатов достигли?
▫️Миграция кампаний с иностранного ПО SAS на решение из реестра российского ПО CM Ocean;
▫️Разработано и запущено несколько сотен кампаний и сценариев;
▫️Повышение отклика на 20% благодаря персонализации и микросегментации;
▫️Охват всех этапов клиентского жизненного цикла регламентными автоматизированными сценариями;
▫️Более 10 каналов коммуникации: исходящие каналы, собственные площадки для входящих предложений, oCRM и БИС банка для работы с задолженностью;
▫️Внедрение data-driven культуры принятия решений в маркетинге и продажах, построен набор клиентских витрин под каждое бизнес-направление.

Проголосуйте за проект на сайте Global CIO ✔️