Data Sapience обновила решение Data Ocean Flex Loader

В новой версии 2.7. был реализован режим экспорта из Lakehouse-платформы Data Ocean Nova. Теперь Flex Loader может не только гарантированно доставлять данные в ваше хранилище, но и выгружать витрины, агрегаты и любые другие производные данные во внешние системы-потребители.

Список других улучшений:
▫️Реализован механизм обработки сценария SCD1 в табличный формат Apache Iceberg с применением оператора MERGE;
▫️Улучшена производительность захвата данных из СУБД Oracle;
▫️Добавлен коннектор к источнику данных Open Search;
▫️Добавлена возможность кастомизации служебных символов при загрузка плоских файлов;
▫️Изменена логика работы межкластерной репликации Greenplum ➡️ Greenplum;
▫️Изменена логика работы репликации Lakehouse ➡️ Lakehouse при работе с Iceberg-объектами;
▫️Улучшена детализация журналирования;
▫️Добавлены альтернативные целевые приемники журналирования.

Kolmogorov Online Day: видеоформат

📹 Публикуем запись доклада «Тессеракт: власть над ИИ». Менеджер продукта Алексей Чирков (департамент развития искусственного интеллекта, ООО «РусБИТех — Астра») и руководитель развития бизнеса Kolmogorov Илья Маршаков (Data Sapience) рассказали о ПАКе для разработки и внедрения доверенных моделей ИИ «Тессеракт», показали, из чего оно состоит, и обозначили список задач, которые ПАК способен закрыть.

Конференция Kolmogorov Online Day прошла 18 сентября и стала площадкой для разговора о настоящем и будущем AI.

Kolmogorov Online Day: видеоформат

📹 Публикуем запись доклада «Эволюция платформы Kolmogorov AI: результаты и направления развития». Старший аналитик Альфия Харламова (Data Sapience) рассказала об этапах развития платформы Kolmogorov AI за последний год: откуда начинали, чего достигли и куда планируем двигаться дальше.

Конференция Kolmogorov Online Day прошла 18 сентября и стала площадкой для разговора о настоящем и будущем AI.

Тестирование движков массивно-параллельных вычислений: StarRocks, Trino, Spark. Spark — с DataFusion Comet и Impala 📈

📝В блоге Data Sapience на Habr вышла новая статья, третья в цикле материалов про нагрузочные испытания вычислительных технологий массивных параллельных вычислений.

Ранее техническим руководителем решений Data Ocean Nova и Data Ocean Flex Loader Евгением Вилковым были опубликованы статьи, посвященные сравнению Impala, Trino и Greenplum, в том числе по методике TPC-DS.

В этот раз в список решений добавляется Spark, включая работающий с технологией нативных вычислений DataFusion Comet, и набирающий популярность StarRocks.

🔗Читать полностью

Первый Data Sapience Data Day: дата, программа, регистрация

Data Sapience объявляет о проведении первой конференции, посвященной работе с большими данными, Data Sapience Data Day, которая состоится 18 ноября 2025 года. Мероприятие объединит ведущих экспертов IT-отрасли и руководителей крупнейших компаний.

В программе конференции:

Панельная дискуссия с участием CDO лидирующих организаций будет посвящена ключевым темам современного дата-рынка:
▫️перспективам развития дата-ландшафта;
▫️влиянию искусственного интеллекта на управление данными;
▫️оценке готовности рынка (технологии/решения/компетенции);
▫️вопросам миграции в публичные облака.

Клиенты выступят с докладами и расскажут о кейсах внедрения и эксплуатации решений Data Sapience. Среди спикеров — представители Альфа-Банка, ОТП Банка, Россельхозбанка и других крупных организаций.

Технологические презентации познакомят участников с возможностями Lakehouse-платформы данных Data Ocean и платформы управления данными Data Ocean Governance.

В мероприятии примут участие специалисты Т-Банка, Газпромбанка, Сбербанк Страхования, Адастры и других ведущих игроков рынка.

▶️ ПОДРОБНАЯ ПРОГРАММА И РЕГИСТРАЦИЯ ◀️
Участие в конференции бесплатное. Регистрация обязательна и проходит модерацию в соответствии с закрытым форматом мероприятия.

Управление данными на практике: эволюция, перспективы, инструменты 📊

Эксперты GlowByte и Data Sapience — об актуальных вопросах выстраивания и развития Data Governance в организациях в интервью издательству «Открытые системы».

▫️Как меняются требования к данным и к управлению ими по мере расширения масштабов компании и ее ИТ-инфраструктуры?
▫️Как должна выглядеть грамотно выстроенная система управления данными в компании?
▫️Какой для этого нужен функционал и какие инструменты помогут его реализовать

На эти и другие актуальные вопросы отвечают Кирилл Евдокимов, директор практики Data Governance в ГК GlowByte, Михаил Маслов, директор практики управления данными направления MDM компании Data Sapience, и Ярослав Игнатьев, старший архитектор решения Ingresso One.

🔗Читать интервью

Kolmogorov Online Day: видеоформат

📹 Публикуем запись доклада «Kolmogorov AI: демонстрация возможностей для построения фабрики ИИ-агентов». Старший аналитик Альфия Харламова (Data Sapience) представила новую компоненту платформы, которая позволяет создавать, настраивать и масштабировать специализированных AI-агентов под любые бизнес-задачи.

Конференция Kolmogorov Online Day прошла 18 сентября и стала площадкой для разговора о настоящем и будущем AI.

🌊Data Ocean на Data Sapience Data Day

В рамках технологических презентаций и клиентских выступлений 18 ноября эксперты расскажут о возможностях дата-продуктов Data Sapience, в том числе Lakehouse-платформы данных Data Ocean.

Платформа Data Ocean решает задачи управления данными крупного бизнеса в современном стеке технологий. Включает в себя:
▫️универсальную Lakehouse-платформу данных Data Ocean Nova;
▫️решение для пакетной репликации и интеграции данных Data Ocean Flex Loader;
▫️low-code инструмент для потоковой обработки и репликации данных Data Ocean SDI.

«Лучший способ оценить технологию — увидеть ее в работе, обменяться опытом и мнениями с теми, кто уже использует ее в промышленной эксплуатации. Именно поэтому ждем вас на Data Sapience Data Day 18 ноября. Вы услышите не только нас, но и наших клиентов. Представители Альфа-Банка, Газпромбанка, Магнита, Сбербанк Страхования откровенно расскажут о пути внедрения, с какими вызовами столкнулись и какую ценность получили. Это шанс составить полное представление о том, как Data Ocean решает задачи крупного бизнеса в сфере работы с большими данными», — говорит технический руководитель решений Data Ocean Nova и Data Ocean Flex Loader Евгений Вилков.

▶️ ПОДРОБНАЯ ПРОГРАММА И РЕГИСТРАЦИЯ ◀️
Участие в конференции бесплатное. Регистрация обязательна и проходит модерацию в соответствии с закрытым форматом мероприятия.

Бенчмарк бенчмарка Lakehouse-движков, в котором побеждает объективная реальность 📈

📝В блоге Data Sapience на Habr — новый материал.

Недавно на хабре вышла статья с громким заголовком «Бенчмарк lakehouse-движков, часть 1: StarRocks и Doris падают под нагрузкой, Presto аутсайдер, CedrusData быстрее всех». В своей статье авторы из Кверифай Лабс выбрали методику TPC-DS, но вместо 99 запросов остановилась на одном, который к тому же запускается на одной машине. Обосновывается это тем, что на одном конкретном запросе нужно разобрать работу оптимизаторов.

По результатам исследования делается вывод, что решение, разработанное авторами, является лучшим, в том числе для запуска одного конкретного запроса на одном узле. В статье Data Sapience технический руководитель решений Data Ocean Nova и Data Ocean Flex Loader Евгений Вилков разбирается, действительно ли это так.

🔗Читать полностью

📊Data Ocean Governance на Data Sapience Data Day

В рамках технологических презентаций и клиентских выступлений 18 ноября эксперты расскажут о возможностях дата-продуктов Data Sapience, в том числе платформы управления данными организации Data Ocean Governance.

Data Ocean Governance — комплекс решений для всестороннего управления данными. Включает в себя решения:
▫️для управления метаданными — Data Ocean Governance EMM;
▫️для управления качеством данных — Data Ocean Governance DQ;
▫️для управления мастер-данными — Data Ocean Governance MDM;
▫️для организации и автоматизации работы с НСИ — Ingresso One.

«Работа с данными в современной компании должна быть автоматизированной и повышать эффективность бизнеса. 18 ноября на Data Sapience Data Day вы услышите реальные примеры от наших клиентов (ОТП Банка, Россельхозбанка и других) и поймёте, как построить эффективную систему управления данными как активом и автоматизировать процессы по управлению метаданными (EMM) и качеством данных (DQ) с помощью продуктов Data Ocean Governance. Также наши эксперты поделятся своим видением трендов, а я расскажу о планах Data Sapience по развитию продуктовой линейки», — говорит Кирилл Евдокимов, CPO Data Ocean Governance (EMM+DQ), Data Sapience.

«Потребность бизнеса в проверенных и актуальных данных, предоставляемых в реальном времени, растет все больше. Высокопроизводительное решение для очистки, обогащения, стандартизации и дедубликации клиентских данных Data Ocean Governance MDM может закрыть этот запрос. На Data Sapience Data Day покажем его в действии, на реальных кейсах. Приходите, если хотите получить не просто технологию, а готовую методологию для вашей организации», — отмечает Михаил Маслов, директор практики управления данными, направление MDM, Data Sapience.

▶️ ПОДРОБНАЯ ПРОГРАММА И РЕГИСТРАЦИЯ ◀️
Участие в конференции бесплатное. Регистрация обязательна и проходит модерацию в соответствии с закрытым форматом мероприятия.

🌊В Lakehouse-платформе данных Data Ocean Nova обновлен инструмент управления системой Cluster Manager

Новые функции Cluster Manager 2.3

Data Ocean Nova
▫️Добавлено отображение Spark Jobs на экране вычислительного движка Spark;
▫️Добавлен функционал просмотра и редактирования секрета Trino из интерфейса Cluster Manager;
▫️Добавлен мониторинг статуса внешнего сервиса Gitlab и его компонентов;
▫️Добавлен мониторинг статуса внешнего сервиса Airflow и его компонентов;
▫️Изменена иконка продукта Data Ocean Nova.

Cloud Console
▫️Добавлено отображение списка связанных процессов на детальной странице кластера;
▫️Добавлены процессы создания кластеров (установки) из интерфейса CM для Data Ocean Nova;
▫️Добавлена работа с черновиками процесса создания кластера:
➡️продолжение работы с черновиком;
➡️удаление черновика.

Общий функционал
▫️Переход к настройкам продукта Cluster Manager перенесен в хедер (кнопка «Настройки»);
▫️Добавлена возможность изменения ширины столбцов (resize).

Data Sapience Data Day: основные выступления

После панельной дискуссии 18 ноября представители Альфа-Банка, Магнита и ОТП Банка расскажут о собственном опыте внедрения и эксплуатации дата-продуктов Data Sapience.

Перед стартом параллельных треков состоятся 3 основных доклада:

▫️«Путешествие Альфа-Банка к дому у озера: цели, вызовы, успехи, планы»
Александр Заболоцкий, руководитель дирекции технологических платформ и развития процессов управления данными, Альфа-Банк;

▫️«От хаоса к Lakehouse, или Как привлечь внимание к платформе данных Магнита»
Сергей Черномырдин, владелец Data Lake, Магнит;

▫️«Бесшовная интеграция Data Governance & Data Quality, или Как внедрить качество данных в ДНК компании»
Николай Шевцов, CDO, ОТП Банк.

▶️ ПОДРОБНАЯ ПРОГРАММА И РЕГИСТРАЦИЯ ◀️
Участие в конференции бесплатное. Регистрация обязательна и проходит модерацию в соответствии с закрытым форматом мероприятия.

⚡️Билайн, GlowByte и Data Sapience создадут альянс для ИИ-трансформации бизнеса и медицины

Компании заключили трехстороннее соглашение о стратегическом партнерстве для создания решений на базе искусственного интеллекта. Планируется объединить усилия для разработки ИИ-продуктов для цифровой трансформации бизнеса и медицины.

В основе новых решений:
▫️платформа аналитики данных, машинного обучения Kolmogorov AI вендора Data Sapience;
▫️технологические компетенции Билайна по созданию передовых ИИ-моделей для патоморфологии и ИИ-агентов для медицины.

➡️В первом направлении компании планируют представить передовые ИИ-продукты для медицины.
➡️Во втором направлении партнеры объединят усилия для создания комплексного решения «ИИ‑трансформация под ключ».

🔗Читать подробнее

Data Sapience Data Day: трек Data Ocean

В рамках трека «Закладываем фундамент: современная платформа данных» представители Газпромбанка, Сбербанк страхования, Банка Уралсиб и Data Sapience расскажут о своем опыте работы с продуктами из семейства Data Ocean и плане развития платформы.

Будут представлены 4 доклада:

▫️«Использование Data Ocean Flex Loader в аналитическом ландшафте Газпромбанка»
🎤Алексей Родионов, владелец продукта «Загрузка данных в НПД», Газпромбанк;
🎤Антон Маркин, руководитель команды разработки, Data Sapience.

▫️«Дата-стратегия 2025-2026. Движение платформы в Self-Service»
🎤Дмитрий Головачев, CDO, Сбербанк страхование;
🎤Дмитрий Инокентьев, исполнительный директор практики, GlowByte.

▫️«Через тернии к Data Ocean Nova. Как выбрали Lakehouse-платформу для миграции классического DWH»
🎤Игорь Гончаров, руководитель службы управления данными, Банк Уралсиб.

▫️«Платформа данных Data Ocean сегодня. Планы развития»
🎤Евгений Вилков, CPO Data Ocean, Data Sapience.

▶️ ПОДРОБНАЯ ПРОГРАММА И РЕГИСТРАЦИЯ ◀️
Участие в конференции бесплатное. Регистрация обязательна и проходит модерацию в соответствии с закрытым форматом мероприятия.