Q.DataFactory, Фабрика данных

«Q.DataFactory, Фабрика данных» – компонентный программный продукт управления данными, который предназначен для сбора, хранения, обработки, анализа структурированных и неструктурированных данных. Программный продукт объединяет инструменты для построения отказоустойчивой, масштабируемой и управляемой среды работы с большими данными.

Функциональные характеристики

В программном продукте реализованы следующие функциональные возможности: • хранение и обработка данных в архитектурной парадигме Data Lakehouse с поддержкой табличного формата, транзакций и версионности; • централизованное управление данными и их метаданными, упорядочивание активов данных и управление их жизненным циклом; • масштабная параллельная обработка данных в пакетном и потоковом режимах; • предоставление унифицированного SQL-доступ к разнородным источникам; • обеспечение контроля качества, прозрачности происхождения и единого контекста данных для пользователей. В состав программного продукта входят следующие компоненты: • S3 Архипелаг; • Репозиторий системных метаданных; • Спарк; • Каталог данных; • Трино.