Михаил Митрофанов на Industrial++ 2024

Практический опыт работы с технологическими данными в облаке

Работа с данными, СУБД, системы хранения

Google Outlook Apple

Доклад принят в программу конференции

Мнение Программного комитета о докладе

Удобное и безопасное хранение технологических данных — задача, с которой сталкиваются большинство предприятий. В докладе будет рассмотрено, как спроектировать архитектуру, разработать формат базы данных, выбрать инструменты для бэкапа и дальнейшей работы с данными и как потом не переделывать всё.

Целевая аудитория

Архитекторы. Дата-инженеры. Дата-сайентисты.

Тезисы

* Какие перед нами стояли задачи по сохранению, обработке и анализу технологических данных.
* Особенности наших данных.
* Как мы пришли к решению пойти в облако.
** Первый вариант архитектуры on-premise.
** Неопределенности 2022.
** Если идти в облако, то PaaS/SaaS.
* Ограничения безопасников — деформация архитектуры на принцип «выпушиваем данные снизу вверх».
* Какую в итоге сделали архитектуру.
** Подготавливающие компоненты локально — от источника до стейджинга (Airflow, Kafka).
** В облаке — от стейджинга до витрины (Greenplum, S3, Airflow).
* Что у нас получилось и нам нравится, а что не очень.

Михаил Митрофанов

ОМК ИТ

Руководитель направления по развитию цифровых технологий.
Опыт в IТ с 2007 года.
С 2017 года занимается работой с данными и прочей цифрой.

ОМК ИТ

«ОМК ИТ» — цифровая компания. Работают в составе ОМК, российской промышленной группы, разрабатывают и запускают цифровые проекты в реальном секторе. Аккредитованы Минцифры России.