DOD ETL: Distributed On-Demand Extract Transform Load for near real-time Business Intelligence

Abstract

A dinâmica competitiva do mercado globalizado demanda informações sobre a realidade interna e externa das corporações. A informação é um ativo precioso e é responsável por estabelecer vantagens-chave que permitem às empresas manter sua liderança. No entanto, informações confiáveis e ricas não são mais o único objetivo. O intervalo de tempo para extrair informações dos dados determina sua utilidade. Este trabalho propõe o DOD ETL (Distributed On-Demand ETL), uma solução que aborda o principal gargalo nas soluções de Business Intelligence: o processo de Extract Transform Load (ETL), fornecendo-o em near real-time. O DOD ETL alcança isso combinando um pipeline de fluxo de dados sob demanda com uma arquitetura distribuída e paralela construída sobre Kafka e Spark Streaming. A solução emprega Change Data Capture baseado em logs para minimizar o impacto no banco de dados de origem, cache em memória para evitar consultas custosas ao banco de dados, particionamento eficiente de dados para paralelização e mecanismos de buffer para lidar com dados com diferentes taxas de chegada. Avaliamos o DOD ETL através de cinco experimentos abrangentes que avaliaram escalabilidade, tolerância a falhas, eficácia do cache em memória, impacto da complexidade do modelo de dados e desempenho em implantação em produção. Os resultados demonstram que o DOD ETL escala linearmente com recursos computacionais, mantém tolerância a falhas com degradação de desempenho gradual e alcança desempenho 10 vezes melhor com cache em memória em comparação com consultas ao banco de dados. Implantamos o DOD ETL em uma grande siderúrgica brasileira, substituindo sua solução ETL legada para relatórios de Overall Equipment Effectiveness (OEE). Em produção, o DOD ETL reduziu o tempo de processamento de horas para menos de um minuto (9000 vezes mais rápido que a solução sequencial em lote anterior), permitindo relatórios OLAP em near real-time que anteriormente eram atualizados apenas duas vezes ao dia.