Desde interações com clientes em plataformas de comércio eletrônico até tendências de mídia social e desde dados de sensores em dispositivos de Internet das Coisas (IoT) até atualizações do mercado financeiro, o streaming de dados abrange uma vasta gama de informações. Esta capacidade de lidar com o fluxo em tempo real muitas vezes distingue as organizações de sucesso dos seus concorrentes. Aproveitar o potencial do processamento de dados em streaming oferece às organizações a oportunidade de permanecer na vanguarda de seus setores, tomar decisões baseadas em dados com agilidade sem precedentes e obter insights valiosos sobre o comportamento do cliente e a eficiência operacional.
A AWS fornece uma base para a construção de pipelines de dados robustos e confiáveis que transportam dados de streaming com eficiência, eliminando as complexidades do gerenciamento de infraestrutura. Esta mudança permite que os engenheiros concentrem os seus talentos e energias na criação de valor empresarial, em vez de consumirem o seu tempo na gestão da infraestrutura.
Crie arquiteturas modernas de streaming de dados na AWS
Em um mundo de dados explosivos, a análise tradicional local luta para escalar e se torna com custos proibitivos. A arquitetura de dados moderna na AWS oferece uma solução. Ele permite que as organizações acessem, analisem e destruam facilmente silos de dados, garantindo ao mesmo tempo a segurança dos dados. Isso possibilita insights em tempo real e aplicações versáteis, desde painéis em tempo real até data lakes e armazéns, transformando a maneira como aproveitamos os dados.
Este whitepaper orienta você na implementação dessa arquitetura, com foco em tecnologias de streaming. Ele simplifica a coleta, o gerenciamento e a análise de dados, oferecendo três padrões de movimento para obter insights de dados quase em tempo real usando os serviços de análise personalizados da AWS. O futuro da análise de dados chegou.
Um pipeline de dados de streaming sem servidor usando Amazon Kinesis e AWS Glue
Laboratório: análise de dados de streaming
Neste workshop, você verá como processar dados em tempo real, usando tecnologias de streaming e microlote no contexto da detecção de anomalias. Você também aprenderá como integrar o Apache Kafka no Amazon Managed Streaming for Apache Kafka (Amazon MSK) com um consumidor Apache Flink para processar e agregar os eventos para fins de geração de relatórios.
Uma arquitetura de nuvem usada para ingestão e processamento de stream na AWS
Publicação de feeds de dados financeiros em tempo real usando Kafka
As arquiteturas de streaming construídas no Apache Kafka seguem o paradigma de publicação/assinatura: os produtores publicam eventos em tópicos por meio de uma operação de gravação e os consumidores leem os eventos.
Este vídeo descreve como oferecer um feed de dados financeiros em tempo real como serviço na AWS. Ao usar o Amazon MSK, você pode trabalhar com o Kafka para permitir que os consumidores assinem tópicos de mensagens que contenham os dados de interesse. As sessões detalham as melhores práticas de design para trabalhar com Kafka e as técnicas para estabelecer conectividade híbrida para trabalhar em escala global.
Os tópicos no Apache Kafka são particionados para melhor dimensionamento e replicados para resiliência
Como a Samsung modernizou a arquitetura para análises em tempo real
A história do Samsung SmartThings é um estudo de caso convincente sobre como as empresas podem modernizar e otimizar a análise de dados de streaming, aliviar o fardo do gerenciamento de infraestrutura e abraçar um futuro de insights em tempo real. Depois que a Samsung migrou para o Amazon Managed Service para Apache Flink , o foco da equipe de desenvolvimento mudou do tédio da manutenção da infraestrutura para o domínio da entrega de valor comercial tangível. Essa mudança permitiu-lhes aproveitar todo o potencial de uma plataforma de processamento de fluxo totalmente gerenciada.
A arquitetura que a Samsung usou em seu sistema de análise em tempo real
Vejo você na próxima vez!
Obrigado por ler! Na próxima vez falaremos sobre ferramentas para desenvolvedores. Para encontrar todos os posts desta série, confira Let’s Architect! página.
Artigo originalmente publicado em Blog AWS
