ADD ANYTHING HERE OR JUST REMOVE IT…
Blog

Let’s Architetic! Projetando sistemas para processamento de dados de fluxo

Desde interações com clientes em plataformas de comércio eletrônico até tendências de mídia social e desde dados de sensores em dispositivos de Internet das Coisas (IoT) até atualizações do mercado financeiro, o streaming de dados abrange uma vasta gama de informações. Esta capacidade de lidar com o fluxo em tempo real muitas vezes distingue as organizações de sucesso dos seus concorrentes. Aproveitar o potencial do processamento de dados em streaming oferece às organizações a oportunidade de permanecer na vanguarda de seus setores, tomar decisões baseadas em dados com agilidade sem precedentes e obter insights valiosos sobre o comportamento do cliente e a eficiência operacional.

A AWS fornece uma base para a construção de pipelines de dados robustos e confiáveis ​​que transportam dados de streaming com eficiência, eliminando as complexidades do gerenciamento de infraestrutura. Esta mudança permite que os engenheiros concentrem os seus talentos e energias na criação de valor empresarial, em vez de consumirem o seu tempo na gestão da infraestrutura.

Crie arquiteturas modernas de streaming de dados na AWS

Em um mundo de dados explosivos, a análise tradicional local luta para escalar e se torna com custos proibitivos. A arquitetura de dados moderna na AWS oferece uma solução. Ele permite que as organizações acessem, analisem e destruam facilmente silos de dados, garantindo ao mesmo tempo a segurança dos dados. Isso possibilita insights em tempo real e aplicações versáteis, desde painéis em tempo real até data lakes e armazéns, transformando a maneira como aproveitamos os dados.

Este whitepaper orienta você na implementação dessa arquitetura, com foco em tecnologias de streaming. Ele simplifica a coleta, o gerenciamento e a análise de dados, oferecendo três padrões de movimento para obter insights de dados quase em tempo real usando os serviços de análise personalizados da AWS. O futuro da análise de dados chegou.

Um pipeline de dados de streaming sem servidor usando Amazon Kinesis e AWS GlueUm pipeline de dados de streaming sem servidor usando Amazon Kinesis e AWS Glue

Laboratório: análise de dados de streaming

Neste workshop, você verá como processar dados em tempo real, usando tecnologias de streaming e microlote no contexto da detecção de anomalias. Você também aprenderá como integrar o Apache Kafka no Amazon Managed Streaming for Apache Kafka (Amazon MSK) com um consumidor Apache Flink para processar e agregar os eventos para fins de geração de relatórios.

Uma arquitetura de nuvem usada para ingestão e processamento de stream na AWSUma arquitetura de nuvem usada para ingestão e processamento de stream na AWS

Publicação de feeds de dados financeiros em tempo real usando Kafka

As arquiteturas de streaming construídas no Apache Kafka seguem o paradigma de publicação/assinatura: os produtores publicam eventos em tópicos por meio de uma operação de gravação e os consumidores leem os eventos.

Este vídeo descreve como oferecer um feed de dados financeiros em tempo real como serviço na AWS. Ao usar o Amazon MSK, você pode trabalhar com o Kafka para permitir que os consumidores assinem tópicos de mensagens que contenham os dados de interesse. As sessões detalham as melhores práticas de design para trabalhar com Kafka e as técnicas para estabelecer conectividade híbrida para trabalhar em escala global.

Os tópicos no Apache Kafka são particionados para melhor dimensionamento e replicados para resiliênciaOs tópicos no Apache Kafka são particionados para melhor dimensionamento e replicados para resiliência

Como a Samsung modernizou a arquitetura para análises em tempo real

A história do Samsung SmartThings é um estudo de caso convincente sobre como as empresas podem modernizar e otimizar a análise de dados de streaming, aliviar o fardo do gerenciamento de infraestrutura e abraçar um futuro de insights em tempo real. Depois que a Samsung migrou para o Amazon Managed Service para Apache Flink , o foco da equipe de desenvolvimento mudou do tédio da manutenção da infraestrutura para o domínio da entrega de valor comercial tangível. Essa mudança permitiu-lhes aproveitar todo o potencial de uma plataforma de processamento de fluxo totalmente gerenciada.

A arquitetura que a Samsung usou em seu sistema de análise em tempo realA arquitetura que a Samsung usou em seu sistema de análise em tempo real

Vejo você na próxima vez!

Obrigado por ler! Na próxima vez falaremos sobre ferramentas para desenvolvedores. Para encontrar todos os posts desta série, confira Let’s Architect! página.

Artigo originalmente publicado em Blog AWS

DNX Brasil – Soluções cloud-native

Sidebar Scroll To Top
Facebook Instagram YouTube linkedin