Тотальный датаконтроль: как с помощью open source приручить данные и перестать беспокоиться о хаосе?

Работа с данными, СУБД, системы хранения

Доклад принят в программу конференции

Мнение Программного комитета о докладе

В рамках доклада разбирается реальный кейс выбора open source решения для автоматизации процесса контроля качества данных с разбором проблем. А также объем дополнительных разработок для создания продукта позволяющего в режиме self service выполнять работы по повышению качества данных.

Целевая аудитория

1. Руководители IT-подразделений: Директора по информационным технологиям, начальники IT-отделов, менеджеры по разработке 2. Специалисты по данным: Аналитики данных, дата-архитекторы, инженеры данных и другие специалисты, которые непосредственно работают с данными и ответственны за их качество. 3. Бизнес-аналитики: Профессионалы, которые используют данные для принятия бизнес-решений и должны быть уверены в их качестве и надежности. 4. Топ-менеджмент и владельцы бизнеса: Лица, принимающие стратегические решения, которым важно понимать риски и возможности, связанные с изменением в управлении данными. 5. Проектные менеджеры: Руководители проектов, ответственные за реализацию стратегий по управлению данными и обеспечение их качества. 6. Специалисты по управлению рисками: Те, кто оценивает и управляет рисками, связанными с качеством данных и их влиянием на бизнес-процессы. 7. Внутренние аудиторы: Специалисты, проверяющие соответствие бизнес-процессов и данных внутренним и внешним стандартам. 8. Инженеры по качеству данных: Эксперты, занимающиеся контролем качества данных, разработкой и внедрением соответствующих стандартов и процессов.

Тезисы

Путь компании СИБУР с использованием open source инструмента для обеспечения качества данных после ухода вендора
Расскажу наш опыт анализа рынка DQ инструментов, плюсы и минусы для нас как индустриальной компании при выборе решения
Поделюсь проблемами, с которыми мы столкнулись в процессе реализации инструмента. Какая архитектура итогового решения получилась и что ещё предстоит сделать.
А теперь самое интересное. Как запустить процесс при слабой культуре в управлении качеством данных на уровне сквозных процессов через все системы компании?

Александр Бергер

СИБУР Цифровой

Архитектор Данных

Стейкхолдер и евангелист-методолог направления Data Quality

СИБУР Цифровой

СИБУР Цифровой — это IT-кластер СИБУРа, ведущей нефтехимической компании на рынке РФ. Решаем креативные задачи по цифровизации нефтехимического производства и бизнеса. Это задачи, связанные с Data Science, цифровой разработкой, промышленным интернетом вещей (IIoT), дополненной и виртуальной реальностью (AR и VR), управлением данными и BI-инструментами. В Цифровом СИБУРе 200+ проектов с ИТ-составляющей, более 200 ИТ-систем и 100+ ИТ-компетенций! А главное — с нами работает более 2000 сотрудников, благодаря которым мы строим цифровые заводы будущего уже сегодня.

Видео