Тотальный дата-контроль: как с помощью open source приручить данные и перестать беспокоиться о хаосе?

Работа с данными, СУБД, системы хранения

Доклад принят в программу конференции

Мнение Программного комитета о докладе

В рамках доклада разбирается реальный кейс выбора open source-решения для автоматизации процесса контроля качества данных с разбором проблем. А также объем дополнительных разработок для создания продукта, позволяющего в режиме self service выполнять работы по повышению качества данных.

Целевая аудитория

1. Руководители IT-подразделений: директора по информационным технологиям, начальники IT-отделов, менеджеры по разработке. 2. Специалисты по данным: аналитики данных, дата-архитекторы, инженеры данных и другие специалисты, которые непосредственно работают с данными и ответственны за их качество. 3. Бизнес-аналитики: профессионалы, которые используют данные для принятия бизнес-решений и должны быть уверены в их качестве и надежности. 4. Топ-менеджмент и владельцы бизнеса: лица, принимающие стратегические решения, которым важно понимать риски и возможности, связанные с изменением в управлении данными. 5. Проектные менеджеры: руководители проектов, ответственные за реализацию стратегий по управлению данными и обеспечение их качества. 6. Специалисты по управлению рисками: те, кто оценивает и управляет рисками, связанными с качеством данных и их влиянием на бизнес-процессы. 7. Внутренние аудиторы: специалисты, проверяющие соответствие бизнес-процессов и данных внутренним и внешним стандартам. 8. Инженеры по качеству данных: эксперты, занимающиеся контролем качества данных, разработкой и внедрением соответствующих стандартов и процессов.

Тезисы

Путь компании СИБУР с использованием open source-инструмента для обеспечения качества данных после ухода вендора.

Расскажу про наш опыт анализа рынка DQ-инструментов, плюсы и минусы для нас как индустриальной компании при выборе решения. Поделюсь проблемами, с которыми мы столкнулись в процессе реализации инструмента. Какая архитектура итогового решения получилась, и что ещё предстоит сделать.

А теперь самое интересное: как запустить процесс при слабой культуре в управлении качеством данных на уровне сквозных процессов через все системы компании?

Александр Бергер

СИБУР Цифровой

Архитектор данных.
Стейкхолдер и евангелист-методолог направления Data Quality.

СИБУР Цифровой

СИБУР Цифровой — это IT-кластер СИБУРа, ведущей нефтехимической компании на рынке РФ. Решают креативные задачи по цифровизации нефтехимического производства и бизнеса. Это задачи, связанные с Data Science, цифровой разработкой, промышленным интернетом вещей (IIoT), дополненной и виртуальной реальностью (AR и VR), управлением данными и BI-инструментами. В Цифровом СИБУРе 200+ проектов с IТ-составляющей, более 200 IТ-систем и 100+ IТ-компетенций! А главное — с ними работает более 2000 сотрудников, благодаря которым они строят цифровые заводы будущего уже сегодня.

Видео