Представим себе огромный банк с миллионом клиентов и услуг для них. В компании — несколько десятков сервисов. Они специализированы, предоставляют и отвечают за небольшое число функций, например CRM, обработку транзакций по счетам, клиентское обслуживание и так далее.

Для извлечения максимальной пользы и исключения негативного влияния на операционные СУБД данные загружают в хранилище или Data Lake. Со временем хранилище данных становится очень большим: тысячи таблиц в презентационном слое, тысячи пайплайнов, которые перегружают данные.

Без каталога данных разобраться в многообразии информации почти невозможно. Он помогает компании улучшать операционную деятельность, ускорять работу аналитиков и извлечение ценности из данных, а еще увеличивает контролируемость всех данных во избежание репутационных и регуляторных рисков.

Приведем пример, который, по нашему мнению, хорошо демонстрирует и помогает понять необходимость систем типа Data Catalog.

Сравним каталог с описаниями и характеристиками данных с каталогом игр или приложений. Для этого рассмотрим два алгоритма действий: первый — поиск игры на вечер в Apple Store, второй — поиск необходимых данных в хранилище для создания управленческого отчета.

Нам было важно получить инструмент для поиска, анализа и каталогизации данных, поэтому мы собрали требования и начали изучать рынок. Ведь наверняка кто-то до нас сталкивался с аналогичными проблемами. Учитывая специфику экосистемы платформы данных Т‑Банка, потребности ее активных пользователей, нам не удалось найти инструмент, который на тот момент смог бы удовлетворять нашим требованиям. Это был 2020 год.

Выбор свелся к двум вариантам: ничего не решать и закругляться или начать разработку собственного каталога данных. Мы решили создать собственный каталог данных, который назвали Data Detective, или DD.

Data Detective пользуется почти вся компания. Перечислим основные группы пользователей и примеры задач, которые решает продукт.

Разработчики ETL, системные аналитики ETL, инженеры данных, сотрудники Data Platform:

• анализ зависимостей по таблицам, колонкам, отчетам и так далее;
• верхнеуровневый мониторинг качества данных или описания данных;
• просмотр информации по критериям, на основе которых таблицы обрезаются и данные отправляются в архив, и партиционированию таблиц, расписанию ETL-процессов и так далее.

Бизнес-аналитики, продуктовые аналитики, аналитики данных, ML-инженеры:

• поиск данных, которые можно использовать в своем отчете, модели и так далее;
• понимание бизнес-контекста данных;
• оценка качества данных. Выбор самых качественных, использование подсказок или, другими словами, партиционирование для написания оптимальных запросов;
• верхнеуровневый мониторинг качества данных, или времени поставки, или объема данных для оценки вместимости в квоту.

Команды операционных сервисов, чьи данные загружаются в хранилище:

• отслеживание использования их данных и понимание последствий изменений данных в сервисе.

Команды сервисов, которые ждут данные от хранилища:

• отслеживание задержек в поставке данных или отчетности, логики подготовки данных.

Мы считаем множество метрик, в том числе:

• CTR%20 — количество переходов по первым 20 ссылкам в поисковой выдаче;
• DAU, MAU, WAU — оцениваем масштаб использования и динамику пользовательской базы;
• средний номер перехода в поисковой выдаче — оцениваем качество и релевантность поиска;
• Roling Retention — оцениваем, насколько мы полезны для пользователя в долгосрочной перспективе, возвращается ли он к нам.

На скриншоте ниже — значения на середину января 2024 года. Спойлер: мы довольно популярны и востребованы в Т‑Банке, но не собираемся останавливаться на достигнутом.

Кратко покажем интерфейс и основные возможности нашего каталога.

Из каких модулей логически, не технически состоит продукт:

• Data Detective — пользовательский интерфейс + бэкенд для поиска и анализа описаний и характеристик данных, а также ETL-фреймворк (ingest-слой), который собирает и загружает в каталог технические метаданные и бизнес-описания из различных систем источников;
• Data Detective Model (модель данных DD) — единая модель, в которую собраны описания и характеристики данных, связи данных между собой из самых разнообразных источников, а также образцы таких данных;
• Data Detective Editor (DDeD) — редактор метаданных, с помощью которого пользователи могут описывать и редактировать описания таблиц/отчетов/etс.

Архитектурно Data Detective состоит из нескольких сервисов, которые взаимодействуют друг с другом:

• ETL-фреймворк на базе Airflow, который загружает данные из различных систем источников в базу данных каталога (ingest-слой), этот же сервис преобразует и загружает данные в поисковую систему ElasticSearch (OpenSearch) и графовую базу данных ArangoDB;
• слой Backend, написанный на Java Spring Boot, который отвечает за запросы к базам данных (PostgreSQL, OpenSearch, ArangoDB);
• CI/CD c контрактами, который позволяет с помощью yaml-файлов настроить каталог на прием метаданных;
• UI, написанный на React, который отвечает за взаимодействие с пользователем.

Стек:

• Python 3;
• Airflow 2.7;
• Pandas 2;
• Java Sping boot;
• React;
• PostgreSQL;
• OpenSearch;
• ArangoDB;
• Apache Kafka.

Выступления:

• HL++ Foundation 2022: как мы в Т‑Банке Data Catalog создавали.
• PGConf. Блиц-доклад «Поосторожнее с рекурсией».
• T‑Bank Data Meetup. Под капотом каталога данных.
• PyCon 2022. Удобное тестирование ETL-процессов Apache Airflow.
• Управление данными 2022: Как в Т‑Банке решили проблему поиска данных.
• SmartData 2022: Как загрузить в каталог данных все на свете и не умереть.
• XXVIII форум «Технологии и безопасность» (ТБ Форум). Как не потеряться в больших данных.
• Profit Finance Day, Алматы. Опыт создания каталога данных с нуля.

Публикации:

• Как в Т‑Банке создавали Data Catalog.
• How to load everything in the data catalog and not to die.