No século passado, os dados se tornaram a força vital de todas as organizações, desde gigantes do comércio eletrônico até provedores de assistência médica e agências governamentais. Coletar e gerenciar data de forma eficaz pode fornecer às organizações insights valiosos para auxiliar na tomada de decisões . No entanto, isso provou ser uma tarefa assustadora.
Tão importante quanto data, o CIOinsight relata que apenas 10% das organizações sentem que sua empresa se destacam no gerenciamento de análise. Reconhecendo essa lacuna significativa na utilização de data, as organizações adotaram arquiteturas de data modernas para preencher a lacuna.
As arquiteturas de dados são estruturas e sistemas estruturados que definem como eles são organizados, integrados e acessados dentro de uma organização. A arquitetura define o projeto e estabelece diretrizes para os dados e como eles fluem pelos sistemas de armazenamento.
A evolução da arquitetura
Ao longo dos anos, a arquitetura de dados evoluiu para se adaptar às crescentes necessidades das empresas. Uma transformação notável discutida nesta seção é a mudança na arquitetura de dados de armazéns lógicos para malhas de dados.
O Armazém Lógico (Logical Warehouse)
Os armazéns lógicos, também conhecidos como armazéns de data, são a base do gerenciamento de há décadas. Esses data warehouses são repositórios centrais projetados para armazenar dados de diferentes fontes, como sistemas transacionais, arquivos de log de aplicativos, etc., fornecendo uma visão unificada das informações.
Em geral, os warehouses lógicos usam processos Extract, Transform, Load (ETL) para extrair dados dos sistemas de origem, transformá-los para garantir a consistência e carregá-los no warehouse. Os armazéns lógicos destinam-se exclusivamente a realizar consultas e análises e geralmente contêm grandes quantidades históricas .
Desafios dos Armazéns Lógicos
Embora os armazéns lógicos servissem ao seu propósito, eles enfrentaram vários desafios à medida que os volumes de dados aumentavam. Algumas das principais limitações incluíam:
- Data Silos : armazéns lógicos geralmente resultam em “data silos”, onde diferentes departamentos ou equipes mantêm seus próprios conjuntos de dados isolados, levando a inconsistências e duplicações.
- Desempenho : como eles precisavam passar por vários processos e estágios antes de serem disponibilizados para análise, isso afetava muito o desempenho dos data warehouses.
- Escalabilidade : A implementação de data warehouses é complexa e cara devido às limitações de hardware. Também exigia experiência em modelagem, processos ETL e gerenciamento de banco, tornando mais difícil lidar com o crescimento exponencial de dados.
Artigo originalmente publicado por Cloud Native
