Data Lineage: как построить и зачем
Что такое Data Lineage, зачем строить карту происхождения данных и как это делают российские платформы каталогизации.
Аудитор задаёт простой вопрос: «Откуда взялась цифра выручки в этом отчёте?» — и оказывается, что путь данных от исходной транзакции до итоговой цифры проходит через пять систем, три ETL-процесса и одну таблицу Excel, которую правили вручную. Data Lineage существует именно для того, чтобы на такой вопрос был мгновенный и наглядный ответ.
Краткий вывод: Data Lineage — это визуализация полного пути данных от источника до конечного отчёта; она нужна для аудита, оценки влияния изменений и повышения доверия к отчётности, и в зрелых каталогах строится преимущественно автоматически.
Что такое Data Lineage простыми словами
Это карта, показывающая, как данные двигались и трансформировались: из какой исходной таблицы они пришли, через какие процессы обработки прошли и в каких итоговых отчётах или показателях оказались. По сути — «родословная» каждого числа в отчёте.
Зачем бизнесу карта происхождения данных
- Аудит и регуляторная отчётность — быстрое подтверждение источника цифры для проверяющих органов.
- Оценка влияния изменений — перед изменением структуры таблицы видно, какие отчёты и дашборды это затронет.
- Диагностика ошибок — при обнаружении некорректной цифры можно быстро найти этап, на котором возникла ошибка.
- Повышение доверия к данным — сотрудники видят происхождение показателя и меньше сомневаются в его достоверности.
Как строится Data Lineage на практике
Ручное построение карты трудоёмко и быстро устаревает при изменениях в системах. Зрелые каталоги данных, например Arenadata Catalog, строят Data Lineage автоматически: система анализирует SQL-запросы, ETL-процессы и код трансформаций, самостоятельно выявляя связи между источниками и итоговыми таблицами.
Уровни детализации Lineage
Data Lineage можно строить на уровне таблиц (какая таблица питает какую) или на уровне отдельных колонок (какое поле в отчёте рассчитано из каких именно исходных полей). Второй вариант точнее, но требует более зрелого инструмента и больше вычислительных ресурсов на анализ.
Часто задаваемые вопросы
Можно ли построить Data Lineage без специализированного каталога? Частично да, вручную в документации, но такая карта быстро расходится с реальностью при любых изменениях в системах.
Нужен ли Data Lineage небольшой компании? Если отчётность строится из 2-3 источников и меняется редко, острой необходимости нет; ценность растёт с числом источников и сложностью трансформаций.