ЦИТ.ДатаЛаборатория

ПО «ЦИТ.ДатаЛаборатория» представляет собой комплексное инфраструктурное
решение, которое предоставляет разработчикам и аналитикам данных готовую среду для
работы с современным стеком технологий обработки и хранения данных. Решение
объединяет ключевые компоненты современного data stack`а.

Функциональные характеристики

Примеры использования:

 Использование для локальной разработки и отладки ETL/ELT пайплайнов;

 Использование для тестирования DAG'ов Apache Airflow перед выгрузкой в

продакшен;

 Сопоставление результатов трансформаций данных с ожидаемыми результатами

в изолированной среде;

 Использование для обучения новых сотрудников работе с компонентами КХД;

 Прототипирование новых аналитических запросов и отчетов на локальных

данных.

ПО «ЦИТ.ДатаЛаборатория» состоит из следующих элементов:

 Greenplum Database;

 Apache Airflow;

 MinIO;

 Docker Compose конфигурация;

 Makefile.

В разработке ПО «ЦИТ.ДатаЛаборатория» использовались:

 технологии контейнеризации: Docker, Docker Compose;

 системы управления базами данных: Greenplum (на базе PostgreSQL);

 платформы оркестрации: Apache Airflow с CeleryExecutor;

 объектные хранилища: MinIO с S3-совместимым API.