DLH_credentials_2022

*создано при поддержке Фонда содействия инновациям и лаборатории данных Казанского государственного университета

ежедневно в компаниях генерируется огромные массивы данных, потенциально содержащих возможности и полезность, которую трудно извлечь в виду колоссальности объема. Данные складируются и не используются, при этом возможности для бизнеса упускаются.
рост в 14 раз за 10 лет
70
зеттабайт

основные тренды управления данных
создание единого источника корпоративных данных (DWH)
искусственный интеллект и машинное обучение
формализация сбора данных
повышенное внимание к информационной грамотности
облачная интеграция

разрозненность данных организации
невозможность оперативного получения доступа к данным об организации
нет инструментов обработки данныхи недоступность зарубежных ИТ-решений
не понятно как работать с данными и использовать их для пользы бизнеса
информация не является активом организации
проблемы

решением всех этих проблем является переход к комплексным решениям, позволяющим управлять данными организации на всем их жизненном цикле

базы данных
устаревшие системы
SaaS приложения
приложения
web-сервисы
файлы
загрузка данных
озеро данных
сырые данные
нормализоанные данные
данные пользователя
каталог
поиск
онтология
обмен данными
разработка ML-алгоритмов
визуализация данных
надстройки
магазин инсайтов
магазин AI-моделей

общий сценарий
источники данных
импорт данных
обработка данных
построение связей
формирование отображений
отображение

частные сценарии
управленческая отчетность в моменте
было
стало
отчетность собирается из разных систем.
затраты на сведение в единый отчет.
нет отчетности в моменте.
значения могут быть не корректны из-за вкладывания разных понятий под одни и те же сущности в различных системах
автоматизировано, доступно в любой момент времени, единая модель обеспечит валидность данных, будут проведены предварительные проверки корректности данных, как по типам, так и логические (на суммы, красные сальдо и т.п.)

частные сценарии
анализ данных агрегированных из разных систем, пример для банка
было
стало
требуется собрать средний чек по клиентам. Операции ведутся в разных учетных системах (отдельно счета, отдельно карты, отдельно вклады, отдельно ЮЛ и владеющие ими ФЛ) Сложности с определением "золотой записи" и отношением к ней данных из разных систем.
автоматизировано, доступно в любой момент времени, единая модель обеспечит построение связей между данными о реальном клиенте во всех учетных и прочих системах.

частные сценарии
Анализ данных агрегированных из разных систем, пример для нефтяного сектора
было
стало
требуется собрать общие значения и показатели с каждого филиала/объекта. Затраты на сведение в единый отчет.
автоматизировано, реализовываются интеграции под каждый отдельный тип систем ведения учета на объектах, строится единый дашборд

частные сценарии
средние предприятия
агрегаторы по аренде недвижимости
было
стало
каждый подрядчик/владелец объекта ведет учет обхъектов в своем формате. Возникает дублирование данных и нет актуальной информации по объектам в моменте для формирования адресных предложений клиентам и для бронирваония объектов
автоматизировано, реализовываются интеграции под каждый отдельный тип систем подрядчиков, обеспечивается единая точка синхронизации данных. Данные по обхъектам актуальны в любой момент времени для формирвоания адресных преждложений и бронирования

частные сценарии
крупные предприятия например, база по запасным частям и поставщикам для авиационной отрасли
было
стало
поиск запасных частей и аналогов осуществляется вручную
реализуется интеллектуальный автоматизированный поиск по конкретным источникам и в сети Интернет для формирования единой базы. Предоставляются интерфейсы для доступа к единой базе и поиску необходимых данных/товаров

частные сценарии
управление едиными справочниками, пример для гос. сектора
было
стало
сейчас каждая организация, участвующая в процессе оказания услуг, ведет свой справочник, что замедляет оказание услуг и приводит к ошибкам, приводящим к повторной подаче заявлений на услугу клиентами.
реализовываются интеграции под каждый отдельный тип систем, где ведутся справочники. Строится MDM и RDM. предоставляются интерфейсы для получения эталонных справочников системами-потребителями. Все системы потребители имеют актуальный эталонные справочники в каждый момент времени

информация и знания становятся активом компании
объединение разрозненных данных за счет транспортной шины и НСИ
обеспечение оперативного доступа к данным об организации за счет реализации инструментов обработки и визуализации данных
использование UI-инструментов для управления ЖЦ данных
обеспечение использования инструментов анализа данных (ML) для возможности поиска новых возможностей по оптимизации бизнеса и кратного роста

разрозненные корпоративные данные
транспортная шина
топ-менеджмент
маркетинг
финансы
HR и др.
возможные потребители данных

Транспортная шина
Топ-менеджмент
Маркетинг
Финансы
HR и др.
Возможные потребители данных
загрузка и трансформация данных
конфигуратор моделей данных
хранилище данных
предиктор данных
каталог данных
визуализация данных

Ableau, Yandex Datalens, Metabase, React, Superset, Vault, Apache Atlas, Django, Kybernetes, Hadoop Ecosystem, Kubeflow, Python, PostgreSQL, Greenplum, Dbt, Kafka, Airflow, Debezium, Pulsar, Flink, Spark

ключевые возможности
единый инструмент управления всеми данными
нормализация данных
автоматизированное достраивание БД
перестройка и выбор моделей данных

Winsupply: снижение нагрузки на аналитиков данных на 50%
Coca-Cola Andina: повышение производительности команды аналитиков на 80%
Сбер: снижение трудозатрат на обезличивание данных с 60-ти до 6-ти человеко-дней
ВТБ: снижение затрат подготовку аналитической отчетности на 30%
ВТБ: сокращение времени подготовки данных для аналитики и отчетности в 2,5 раза
KMART Australia: снижение количества проблем с качеством данных на 80%
Inditex: сокращение затрат на аппаратные ресурсы на 30%
Winsupply: сокращение длительности интеграции новых БД с 3-х месяцев до 5-ти дней
Уралхим: снижение стоимости владения данными
примеры эффектов от использования DLH

cases

реализация компонента DLH – Хранилище данных (DWH)
• сбор и хранение данных о кассовом исполнении НП Цифровая экономика, в том числе исторических
• сервис для мониторинга технических и логических метрик Системы, в том числе в рамках SLA по реагированию на аварии
• дашборды, автоматически обновляющиеся при наличии новых данных
проект для:
Аналитический центр при правительстве РФ

реализация компонентов DLH – Data Catalogue, Model Optimization
• сбор и хранение всех исторических данных из 1С, Битрикс24, Google-документов
• медиапланирование на основании бизнес критериев и алгоритмов ML
• автоматическое изменение DWH при изменении атрибутов данных в источниках
проект для:
Медиагруппа РИМ

Наша команда
Константин Могилевкин
Азат Якупов
founder
CDO
Ильяс Мухаматдуллин
CPO
Оксана Могилевкина
CEO
Игорь Дубов
CMO

проектирование DLH
внедрение DLH
поддержка и развитие DLH
обследование бизнес-процессов, потоков данных
документирование и обучение
1-3 мес.
3-6 мес.
6-12 мес.
состав работ в рамках внедрения