ANG - Модульная платформа для управления большими данными (Big Data)

ANG - это модульная платформа, разработанная для управления большими данными с использованием открытого программного обеспечения. Она может быть развернута как в облаке, так и on-premise, предоставляя возможность построения Data Lake, Data Mesh и Lakehouse.

Основные технологии

• Организация потоковой передачи данных и интеграция: Kafka, NiFi, Flink.
• Хранение данных: Iceberg, MINIO.
• Горячий слой данных: ClickHouse.
• Управление ресурсами: Kubernetes.
• Веб-сервер и балансировщик нагрузки: NGINX.

Управление и мониторинг

• Административная панель: Argument обеспечивает управление всеми компонентами платформы.
• Мониторинг: Prometheus и Grafana.

Обработка данных

ETL-процессы выполняются с помощью Spark, Trino и Impala для выполнения распределённых вычислений, построения витрин данных и моделей.

Работа с данными

• Визуализация и взаимодействие: Superset.
• Управление доступом: Ranger и OpenSearch.