Apache Spark – распределённый вычислительный движок для обработки больших объёмов данных. Создан в лаборатории AMPLab Калифорнийского университета в Беркли, с 2014 года – проект верхнего уровня Apache Software Foundation. Spark выполняет вычисления в памяти кластера и поддерживает API на Scala, Java, Python (PySpark), R и SQL.
Компоненты
- Spark SQL и DataFrame API.
- Structured Streaming для потоковой обработки.
- MLlib для машинного обучения.
- GraphX для графовых вычислений.
Где применяется
- ETL и подготовка данных в озёрах данных и lakehouse.
- Пакетная аналитика больших таблиц.
- Обучение моделей на больших данных.
- Потоковая обработка событий.
Развёртывание
Spark запускается на кластерах под управлением YARN, Kubernetes или в автономном режиме, а также доступен как управляемый сервис у облачных провайдеров.
