Objetivo do Projeto:

Construção de pipelines ETL no Amazon EC2 utilizando Apache Spark e orquestradas pelo Apache Airflow, para processar e transformar dados brutos das áreas de Clientes e Vendas, gerando camadas intermediárias (processed) e finais (gold) diretamente no Amazon S3, seguindo boas práticas de engenharia de dados, modularidade de código e padrões corporativos.

Arquitetura do Projeto

• Spark 3.5.0
• Python 3.10 como linguagem principal.
• AWS S3 como storage de dados (raw, processed, gold).
• Terraform para provisionamento da infraestrutura AWS.
• Airflow para orquestração dos pipelines.
• Logger customizado (logger_config.py) padronizando todos os logs de execução.
• Separação modularizada por área: clientes e vendas.
• Amazon EC2 para processamento.
• Docker para padronização do ambiente.
• Amazon CloudWatch para monitoramento.
• AWS IAM para segurança.

Ambiente de Execução