01
dez
Tag Archives: Featured
17
maio
Carguero: A migração do Azure para a Cloud AWS aumentou a eficiência do transporte no setor de Agrotech do Brasil
Sobre a Carguero
A Carguero é uma joint venture, uma empresa de transporte desenvolvida por quatro empresas líderes do mercado agrícola no Brasil: LDC, Maggi, Cargill e DM Brasil. Com download do aplicativo da Carguero na linha de frente, a empresa foi projetada para transformar o setor de transporte de carga brasileiro, tornando-o mais inteligente, transparente e acessível para todos.
O aplicativo da Carguero traz informações específicas e atualizadas sobre o frete, isso permite que os caminhoneiros escolham o frete que vão entregar com base no preço, distância e na empresa. A intenção do aplicativo é dar aos motoristas mais autonomia e controle sobre seus horários e renda. Assim que foi lançado, o aplicativo foi baixado por mais de 100 mil usuários e teve um alcance de 40% do mercado brasileiro de agronegócio.
O desafio do negócio
Por fazer parte dos segmentos de transporte agrícola, a plataforma Carguero requer alta disponibilidade 24×7, especialmente durante as épocas de pico agrícola, como é o caso da colheita de soja. Se a plataforma não estiver disponível a qualquer hora do dia, os caminhoneiros podem perder informações sobre o frete noturno, levando à escassez de trabalho e transporte.
Apesar da infraestrutura da Carguero já existir na nuvem, eles passavam por problemas frequentes relacionados ao desempenho, tempo de inatividade e capacidade reduzida do aplicativo, principalmente, quando o app precisou se recuperar rapidamente de falhas que surgiram durante 2021. A combinação dessas falhas resultou na constante indisponibilidade do aplicativo, causando uma redução de 15% na base de motoristas. Como consequência, as empresas Carguero viram um impacto negativo em suas cadeias de suprimentos e receitas, o que também interrompeu seu plano de expansão e a participação no aplicativo de mais empresas do ramo agrícola.
Migração do Azure para a AWS
- Fase de Avaliação
A DNX Brasil entrou em contato com a Carguero para descobrir por que esses problemas estavam ocorrendo e qual seria a melhor forma de corrigi-los. Inicialmente, a nossa equipe realizou uma Avaliação, criou um Relatório de Custos e participação de briefings com as principais partes interessadas da Carguero para obter um panorama da situação atual. Essa avaliação permitiu que a DNX identificasse lacunas ao longo de todas as seis dimensões do AWS Cloud Adoption Framework: negócios, processos, pessoas, plataforma, operações e segurança. Além disso, obtivemos informações valiosas sobre os negócios, recursos, infraestrutura e objetivos da Carguero, todas essas informações foram levadas em consideração no desenvolvimento do business case. Dessa forma, o business case ajudou a Carguero no processo de tomada de decisão, levando a uma migração Azure-AWS com o objetivo de atingir as metas de crescimento de negócios e corrigir problemas existentes com a disponibilidade.
Vários itens foram incluídos em um abrangente plano de migração, tais como:
- Identificação das aplicações para migrar e/ou modernizar;
- Identificação dos Dados e Armazenamento para migrar e/ou modernizar;
- Requisitos de segurança e compliance;
- Projeto do Modelo de Operação;
- Visão geral do custo total de propriedade do Lite
- Identificação dos principais riscos de cada um dos 6 pilares da AWS, incluindo suas gravidades
- E a criação de um roteiro de mitigação de riscos.
- Fase de Mobilização
Para iniciar a Fase de Mobilização, o business case foi refinado e um modelo operacional foi colocado em níveis. A equipe priorizou quais aplicativos seriam migrados e definiu a proposta para o tipo de estratégia de migração. A estratégia aceita foi desenvolvida com base na complexidade da aplicação da infraestrutura existente, priorizando o ambiente e a complexidade dos negócios da Carguero.
A próxima etapa na Fase de Mobilização foi a implantação da well-architected foundation da DNX, o Citadel. Ao usar o Citadel, uma infraestrutura como código (IaC) automatizada, segura e pronta e em conformidade, a Carguero ficou tranquila sabendo agora estaria em uma base forte e segura. Após a implantação do Citadel, nossa equipe construiu uma prova de conceito migrando um pequeno número de aplicações, e sempre envolvendo o cliente no processo, aumentando sua compreensão e garantindo que o conhecimento sobre as melhores práticas de nuvem fosse compartilhado. E concluída as migrações iniciais, a Fase de Migração será iniciada.
- Fase de Migração
Para reduzir o risco de o projeto bem como manter a confiança de Carguero em cada etapa, a migração foi realizada observando fases. Com grande foco na otimização de aplicações, sempre consideramos as circunstâncias e necessidades do cliente antes de implantar uma plataforma específica no Citadel, seja Fargate, Kubernetes, Lamidus, Datalake e Databreaks. Para manter os custos sob controle e dar retorno a longo prazo para o cliente, primeiramente a DNX Brasil migrou o banco de dados do cliente antes de otimizar o banco de dados RDS MySQL. Por fim, as 25 aplicações Kubernetes EKS foram modernizados e migradas para a Citadel, garantindo que a Carguero fosse beneficiada desde o início com a Cloud AWS.
Serviços da AWS que foram utilizados:
- EKS
- RDS
- ALB
- WAF
- SSO
- GuardDuty
- Elastic Cache Redis
- ECR
- Route53
- CloudFront
- Lambda
- ACM
- S3
- CloudTrail
Resultados e Próximos Passos
Como resultado da modernização e migração de aplicações e dos dados, a empresa atingiu a meta de 99,9% de disponibilidade para sua aplicação. Isso levou a um aumento de 20% no número de usuários, melhorando a capacidade de resposta e resiliência das agroempresas brasileiras que fazem parte da Carguero.
Com a estruturação do ambiente no IAC, a equipe da Carguero conseguiu replicar os ambientes de desenvolvimento, resultando em um aumento significativo de versões das aplicações.
Estamos agora trabalhando em um projeto de recuperação de desastres para a Carguero, fortalecendo ainda mais sua aplicação na nuvem.
A DNX possui especialistas em nuvem qualificados que garantem uma entrega eficaz.
Os projetos realizados com a Carguero foram efetivos e ajudaram muito a empresa em seu crescimento. A equipe do projeto trabalha de forma muito próxima e assertiva.
Andre Moraes – Head de Cloud & Cybersegurança, Carguero
Confira nossos projetos de open-source em github.com/DNXLabs e siga-nos no LinkedIn, Twitter e Youtube.
06
fev
Magama: Intregação de aplicações com chatbot da Amazon Lex
Sobre a Magama
A Magama é uma startup Chilena com 4 anos de mercado que entrega uma experiência digital inovadora. E isso é possível, pois a Magama faz uso de soluções imersivas incríveis, que transportam seus clientes para o mundo da realidade virtual através de tours virtuais em 3D, destinados tanto para eventos quanto atividades relacionadas à engenharia e arquitetura.
O metaverso também é explorado pela Magama. Nesse caso, ela utiliza a inteligência artificial integrada ao mundo virtual e aliada ao chatbot, que funciona na orientação da navegação do usuário. Além disso, o assistente de voz traz diversas funcionalidades para o usuário.
Conectando o mundo do chatbots a realidade virtual
Nesse projeto específico, a Magama queria adicionar um chatbot nas suas soluções para que os usuários finais tivessem uma experiência ainda mais imersiva e fluida. Essa solução habilitaria o usuário, por exemplo, a tirar as suas dúvidas sobre o espaço virtual de forma automatizada.
A Magama identificou a AWS como o seu provedor principal de tecnologias de cloud. E foi com a DNX Brasil que a Magama descobriu o parceiro ideal para tornar a sua visão uma realidade. Um desafio adicional era a necessidade de troca de tecnologias em decorrência de uma descontinuação. No entanto, junto à Magama, modificamos a solução proposta para atender às novas necessidades.
Do ponto de vista técnico, a Magama precisava conectar a sua solução virtual com uma solução de chatbot, além de outros canais, como os de mensageria, por exemplo. Seria necessária, então, uma integração que permitisse conexões entre vários sistemas e os chatbots. E, além da conexão com o chatbot, as métricas analíticas e de controle de qualidade do atendimento dos chatbots também seriam implantadas.
As soluções: API e o dashboard
A nossa solução foi dividida em duas partes. Inicialmente, havia a necessidade de integração de aplicações com qualquer chatbot da Amazon Lex (no nosso caso Lex v2). Para isso, criamos uma API serverless que intermedeia essa comunicação. Com a tecnologia da Amazon, essa integração suporta comunicação tanto via texto quanto usando a voz do usuário. Além de receber uma voz sintetizada do chatbot para permitir casos de usos mais naturais. Amazon API Gateway e Amazon Lambda foram os serviços principais utilizados, além do próprio Amazon Lex.
A segunda parte da nossa solução foi a criação de um dashboard analítico do Amazon Lex. Nesse momento, foi usado Amazon CloudWatch Logs Insights que consome logs nativos do Amazon Lex e visualiza os resultados em um dashboard.
Toda a solução e sua infraestrutura foram escritas em código (IaC) para a sua fácil replicação, modificação e controle. Com isso, atendemos à necessidade da Magama de poder criar vários dashboards para a variedade de seus clientes.
A interação dentro e fora da realidade virtual
A solução entregue é agnóstica, uma vez que é parametrizável o suficiente para integrar qualquer chatbot do Amazon Lex e visualizar as métricas desejadas. Isso viabiliza a finalidade da Magama, que é disponibilizar inovação com chatbots em vários ambientes, dentro e fora da realidade virtual, além da captura de dados relevantes para visualização no dashboard.
Outro benefício do projeto é que a API pode ser disponibilizada para os seus contratantes diretamente. Ao mesmo tempo, a Magama tem controle do uso das APIs, tendo em vista a importância para o controle do custo por usuário ou aplicação.
E, por último, mas não menos importante, mesmo com o desafio dos ajustes no escopo e na ideação, a Magama foi bem atendida por meio de uma solução que permite que ela cresça e se torne mais escalável.
Sobre a DNX Brasil
A DNX Brasil entrega para seus clientes a melhor experiência em cloud computing. Nossas soluções são fundamentadas na nuvem AWS, como: AWS Well-Architected, contêineres ECS, Kubernetes, integração contínua/entrega contínua, service mesh, big data, analytics e inteligência artificial.
Nosso time de especialistas é composto por profissionais experientes, qualificados e certificados pela AWS, com foco em conceitos cloud-native.
Confira nossos projetos de open-source aqui e siga-nos no LinkedIn.
A eficacia de uma líderança depende do uso de dados para tomar decisões importantes, é preciso ter um olhar amplo com informações assertivas para ter ações significativas, assim é contruida uma estratégia de dados moderna para fornecer insights às pessoas e aplicações que precisam, com segurança e em qualquer escala. A DNX Brasil ajuda sua empresa a aplicar análise de dados em seus casos de uso mais críticos para os negócios com soluções completas que precisam de experiência em dados.
Descubra o valor dos dados
06
fev
Galax Pay: Migração para nuvem garante mega investimento para a empresa
Sobre a Galax Pay
Galax Pay é uma plataforma automatizada de gerenciamento de cobranças de cartão de crédito, boletos e pix. Como uma fintech brasileira, a Galax Pay é integrada às operadoras de cartão de crédito para facilitar o processo de cobranças recorrentes. A plataforma ainda oferece acesso a relatórios completos de dados de vendas, gateway de pagamentos para faturas únicas, relatórios customizáveis, gerenciamento automatizado e outras ferramentas que facilitam a gestão de faturamento.
A empresa entendeu que um dos maiores desafios enfrentados pelos empresários brasileiros é a dificuldade de previsibilidade financeira, o que impede investimentos e melhorias em seus negócios. Assim, o sistema de pagamento financeiro Galax Pay foi criado com o objetivo de acabar com esse problema, oferecendo às empresas segurança no recebimento de seus pagamentos mensais.
Em 2015, a inadimplência crescia a uma taxa alarmante em decorrência de uma crise econômica que atingiu o país. Foi então que Márcio Vinícius, atual CEO da Galax Pay, entendeu que era fundamental aprimorar os processos de cobrança e recebimento das empresas. A Galaxy Pay surgiu em um momento em que nenhuma companhia oferecia serviço de pagamento automático de cartão de crédito a um custo acessível para os clientes.
Sobre o sistema
O principal objetivo do Galax Pay é simplificar o gerenciamento de pagamentos através da automação e facilitar os processos de recebimento de pagamentos únicos e recorrentes. Atuando como um intermediário entre bancos, empresas e clientes, a plataforma Galax Pay possibilita que pagamentos sejam efetuados e recebidos por intermédio de vários métodos – incluindo débito direto autorizado e Pix, plataforma gratuita de pagamentos eletrônicos instantâneos administrada pelo Banco Central do Brasil.
A Galax Pay facilita a comunicação das companhias com seus clientes finais, além de oferecer controle total sobre todos os pagamentos por meio de relatórios. Atualmente, a Galax Pay processa mais de R$45 milhões mensais e atende mais de 2.700 clientes.
O Desafio da Empresa
O crescimento inicial da Galax Pay foi lento em decorrência de restrições em sua infraestrutura que estava hospedada on-premise. Problemas diários que a infraestrutura apresentava demandavam quase todo o foco da equipe, reduzindo o tempo disponibilizado para desenvolver a solução.
O time da Galaxy Pay tinha 27 pessoas, e pelo menos 10 delas tinham envolvimento direto com o lançamento dos processos, monitoramento de ambiente e criação de ambiente de teste e validação. Além disso, outros departamentos da empresa operavam com uma equipe muito enxuta, o que resultou na dificuldade de crescimento – pois quando se tem uma estrutura on-premise, quanto mais desenvolvedores são contratados, mais a estrutura tem que crescer para acomodá-los.
A ausência de implantações automatizadas (CI/CD pipelines) e de estratégias de implantação fizeram com que novas versões da aplicação se tornassem amplamente indisponíveis. O repositório estava sendo utilizado indevidamente – os conceitos dos branches de desenvolvimento do GitLab estavam sendo aplicados incorretamente. Na ausência de containers era necessária uma configuração na máquina do desenvolvedor (por aplicação), o que gerou problemas relacionados à disponibilidade no ambiente final. Isso acabou por envolver diretamente os ambientes criados em uma relação de ambiente de desenvolvimento versus ambiente de teste, levando a uma grande necessidade de ambientes de testes e uma grande quantidade de fusões até que uma versão pudesse ser produzida.
Um pacote gerado manualmente foi disponibilizado no servidor, sem nenhum tapete de integração (CI) ou de disponibilidade (CD) e sem nenhuma estratégia de implantação definida – como por exemplo, uma estratégia de implantação verde azul. Ao mesmo tempo, foi liberada uma versão distribuída a todos os clientes.
A maior parte dos lançamentos causou interrupção no serviço para o cliente final, o que pode custar muito caro para a reputação de uma fintech – há uma diminuição da percepção de eficiência e confiabilidade da empresa. Além disso, o próprio uso de repositórios no GitLab e a estratégia de ambientes non-prod também precisavam ser revistos para que a empresa pudesse gerenciar o controle de qualidade por meio do uso de ambientes de teste e aumentar a velocidade dos lançamentos por meio da automação.
A fintech também precisava estar em conformidade com as normas de PCI DSS no setor de pagamentos para atestar o seu comprometimento com o Padrão de Segurança de Dados da Indústria de Pagamento com Cartão. Embora ter um ambiente seguro seja o primeiro passo para obedecer aos padrões de segurança da indústria, o que realmente conta é a capacidade de se manter continuamente em cumprimento dessas regras.
Foi nesse contexto que a Galax Pay procurou a DNX para assessorar na migração de sua estrutura on-prem para a nuvem, algo que possibilitaria o crescimento que a empresa almejava. Através dessa transformação, a DNX influenciou diretamente na habilidade da Galax Pay de atrair investidores e escalar o seu crescimento comercial agregado ao aumento do investimento – resultando em um investimento da CelCoin.
O Processo
- Fase de Avaliação
Através de briefings executivos, a DNX entendeu e catalogou a infraestrutura existente na Galax Pay. Essa etapa exige muita habilidade e é uma parte crítica na jornada de migração. Contudo, ela permitiu que a equipe da DNX não apenas entendesse as dependências e problemas comuns no ambiente, como também estimasse um Custo Total de Propriedade (TCO), aumentando a visão da Galax Pay sobre o seu próprio negócio. Terminada essa fase, a DNX identificou os recursos e aplicações necessárias para realizar a migração.
A DNX também identificou redundâncias e recursos subutilizados, incluindo base de dados que foram replicadas em vários servidores e máquinas compradas para atender demandas de datas específicas – como por exemplo a Black Friday – e que acabavam sem uso pelo restante do ano. A identificação desses custos adicionais ajudou a Galax Pay a tomar decisões que aumentaram as oportunidades de redução de custos e escala.
O principal resultado dessa fase de avaliação foi a criação de um business case de alto nível que desenhou diversas estratégias para que o time atingisse os objetivos do projeto. A análise do negócio possibilitou que a Galax Pay avaliasse todas as opções disponíveis usando suas prioridades e necessidades como parâmetros, o que, em última instância, contribuiu para decisões mais sólidas para o projeto em questão.
Baseada na avaliação dos processos de interação com os clientes, a melhor solução encontrada foi a migração de as aplicações. Os containers disponibilizam uma forma padrão para o armazenamento de configurações, códigos e dependências das aplicações em um único objeto, compartilhando apenas um sistema operacional instalado no servidor. O uso de containers permite que a equipe faça implantações de forma rápida, confiável e consistente, independentemente do ambiente.
Com a evolução do processo de virtualização, os containers são capazes de redimensionar a aplicação rapidamente por precisarem de pouco tempo de inicialização. Esse método simplifica a automatização do processo de implantação – já que a aplicação fica empacotado e pode ser disponibilizado em diferentes ambientes, como o desenvolvimento, homologação e produção.
A DNX concluiu que esse era o melhor método para acompanhar o desenvolvimento da aplicação, já que uma vez feita a conteinerização, há a garantia de que tudo o que a aplicação necessita para operar está intrinsecamente ligada a ela. A estratégia maior era garantir a máxima disponibilidade para o usuário final.
- Fase de Mobilização
Após a avaliação, iniciou-se o processo de planejamento – o momento em que a DNX começou a desenhar a nova arquitetura e o plano de migração de acordo com as necessidades da Galax Pay. A DNX avaliou as lacunas de tempo de resposta da nuvem e interdependência entre aplicações, descobertas na fase anterior. Além disso, foram avaliadas todas as possíveis estratégias de migração para garantir que a mais adequada fosse selecionada e atualizada no business case. Durante a etapa de Mobilização, a equipe da DNX implantou a Citadel, uma infraestrutura na nuvem arquitetada nos padrões de Well-Architected da AWS, pronta para entrar em conformidade com as normas de órgãos reguladores internacionais como PCI DSS, HIPAA, ISO 27001, CDR. E em seguida trabalhou com o cliente para projetar a plataforma da aplicação.
A solução apresentada à Galax Pay foi a de performar a migração através da modernização da aplicação e da utilização de containers utilizando o Amazon ECS, que é executado utilizando o Fargate. O ECS permite a configuração de métricas como CPU, memória e número de conexões, que auxiliam no escalonamento automático. O Fargate foi escolhido para alcançar a elasticidade e agilidade necessárias para a aplicação Galax Pay, pois permite que dois containers sejam executados ao mesmo tempo sem a necessidade de gerenciar servidores ou clusters de instância EC2.
O Fargate simplifica o processo da Galax Pay ao eliminar a necessidade da escolha de um tipo de servidor e o tempo de dimensionamento e de empacotamento de clusters. Outro motivo pelo qual o Fargate foi a escolha perfeita nesse caso foi o atendimento aos critérios de conformidade de PCI exigidos pelo ambiente. O uso do Fargate significa que a Galax Pay não precisará atualizar continuamente o sistema operacional ou utilizar sistemas de anti-vírus para a manutenção da segurança das máquinas.
Antes de iniciar a terceira e última fase do projeto, a DNX concluiu a configuração da zona de aterrissagem utilizando a fundação segura da Citadel e preparando o terreno para a migração de várias aplicações-piloto.
- Fase de Migração
Após a comprovação do sucesso dos aplicações-piloto, começou a migração do restante dos dados da Galax Pay para o ambiente seguro criado na AWS. Para que a Galax Pay se beneficiasse totalmente de tudo que a AWS tem a oferecer, durante o processo de migração o time da DNX realizou uma modernização. Ao modernizar dados e aplicações com conceitos nativos da nuvem, a Galax Pay se preparou para um futuro de sucesso – em que a eficiência de suas operações é otimizada.
Ao replicar o banco de dados, a DNX garantiu a sincronização ativa de dados – o que possibilita que os mesmos sejam replicados no ambiente operacional, reduzindo o downtime para cutover. Ou seja, ir além de uma simples estratégia de levantamento e deslocamento permitiu que a Galax Pay evitasse trazer os problemas do passado para o futuro da empresa.
A Galax Pay entrou em contato com a DNX Solutions do Brasil à procura de uma migração de on-prem para a nuvem, mas a entrega final superou as expectativas. O cliente buscava uma migração lift-and-shift para a AWS, mas entregamos uma modernização completa de acordo com os padrões de qualidade da AWS. A Galax Pay estava ciente dessa solução, mas imaginava que seria algo para o futuro. No entanto, implementamos essa solução nesse momento, evitando que a Galax Pay tivesse que se envolver em um novo projeto mais adiante.
Com o resultado alcançado, a Galax Pay:
- Aumentou a percepção de disponibilidade e performance da aplicação
- Diminuiu o tempo de resposta para melhorias e correção de bugs (bug fixes) e sua efetiva disponibilização. Isso foi refletido no aumento de sua nota na plataforma de avaliação online Reclame Aqui
- Maior segurança para o cliente ao atender os padrões PCI DSS
A modernização da aplicação foi entregue como parte do projeto de migração, aumentando a agilidade e segurança e permitindo que a Galax Pay atingisse metas projetadas para anos no futuro.
Aumento do Investimento e Crescimento
De 2020 a 2022, A Galax Pay cresceu 420% em receita do ano fiscal. Enquanto isso, o número de clientes aumentou aproximadamente em 150%, indo de 1.116 para 2.784 clientes.
Com os desafios operacionais causados por uma estrutura datada resolvidos pela migração efetuada pela DNX, as estratégias de negócio e promoção ganharam destaque. O resultado atraiu o investimento da CelCoin, que atuou como um catalisador financeiro impulsionando os negócios. A fundação segura e dimensionável entregue pela DNX Brasil garantiu que a Galax Pay estivesse preparada para lidar com aumentos de fluxo repentinos.
Estima-se que o aumento de clientes que a Galax Pay alcançou seria atingido em cinco anos, caso eles tivessem mantido sua infraestrutura on-prem.
Aumento de Entregas
Como uma fintech com uma solução digital sendo alimentada por um canal digital de aplicações, tecnologia é o cerne do negócio. O time da DNX implementou a automação de implantação e compartilhou conhecimento com a Galax Pay em relação ao GitLab e ambientes não produtivos. Isso permite a constante entrega de novas versões da aplicação diariamente.
Tranquilidade
Galax Pay agora opera a partir de uma estrutura segura de nuvem, a Citadel, que oferece tranquilidade operacional e de conformidade por meio de maior resiliência, confiabilidade e segurança.
Maior Desenvolvimento
A substituição da atualização manual pela automação otimizou o uso do tempo da equipe. Com as preocupações com a infraestrutura resolvidas, a equipe de desenvolvimento da Galax Pay agora tem tempo disponível para se concentrar nos objetivos principais da empresa e criar novos recursos para a solução.
A automação também permitiu que a Galax Pay implementasse novos recursos em um ritmo que atendesse aos desejos de seus clientes. O controle de qualidade também foi aprimorado por meio da criação de ambientes de teste e produção, permitindo que novos recursos sejam testados antes de serem liberados para o usuário final.
Antes do envolvimento da DNX, a Galax Pay estava restrita a liberar novas funcionalidades manualmente apenas aos finais de semana. Agora, o time tem a flexibilidade de liberar novas funcionalidades de três a quatro vezes por dia.
Conformidade PCI
O ambiente desenvolvido com a solução Citadel permite que a plataforma Galax Pay atinja a conformidade com PCI rapidamente, por esse ambiente ser compatível com PCI em sua construção. A Galax Pay também utilizou o DNX Managed Services, serviço oferecido pela DNX, para coletar evidências para uma empresa externa de auditoria, que confirmou sua conformidade. Isso garantiu a certificação PCI da empresa.
Uso Contínuo de Serviços Gerenciados
Reconhecendo a eficiência do trabalho da DNX ao longo do projeto, a Galax Pay optou por fazer uso contínuo do DNX Managed Services, que vem agregando valor à empresa há mais de um ano.
Atualmente, a DNX fornece um serviço de extensão SRE para a Galax Pay, onde a DNX é a parceira expert da AWS e DevOps da Galax Pay. Ao estabelercer uma parceria de confiança, a Galax Pay não precisa se lançar no mercado de trabalho em busca de mão-de-obra especializada. Isso garante benefícios ao cliente final da Galax Pay, já que o time pode manter o foco no que faz a aplicação rodar melhor – solucionar bugs, implementar melhorias e adicionar novos recursos que facilitam a vida dos das pessoas e empresas que contam com o serviço da Galax Pay.
Confira nossos projetos de open-source em github.com/DNXLabs e siga-nos no LinkedIn, Twitter e Youtube.
11
nov
Cromai: Treinamento de Deep Learning 15x mais rápido na nuvem
Sobre a Cromai
A Cromai é uma agtech fundada em 2017 com foco em melhorar de forma eficiente a vida do produtor agrícola. E para isso, usa aplicações de tecnologia de fronteira, principalmente, Machine Learning com a visão computacional para identificar de maneira automatizada padrões em imagens coletadas no campo, oferecendo então um diagnóstico que permite uma tomada de decisão mais precisa.
Alinhada à complexidade do campo, a Cromai possibilita que o produtor agrícola atinja seu potencial máximo produtivo utilizando IA de maneira simples e sustentável. É possível utilizar soluções que filtram a impureza vegetal na cana de açúcar a partir de sensores, por exemplo. Para plantas daninhas também é possível identificar o local em que elas nascem e, com isso, direcionar o agricultor para a melhor forma de realizar o manejo necessário.
Esses sistemas processam e analisam fatores que geram resultados para os produtores de todo Brasil. Isso possibilitou um olhar internacional que fez com que a Cromai fosse selecionada pela StartUs Insights como umas das 5 startups mais promissoras no mundo, em visão computacional para agricultura.
Desafios de uma das mais promissoras startups do mundo
O principal desafio era otimizar o tempo de treinamento da Machine Learning, pois a demora para gerar a nova versão era muito grande e impactava diretamente o core do negócio. Trouxemos o treinamento de Machine Learning para cloud AWS, dessa forma foi possível treinar novos diversos modelos, com base em imagens.
Para ter uma dimensão da quantidade de dados para a solução das plantas daninhas, mais de 20 milhões de imagens eram armazenadas no dataset. E esse fator aumentava a necessidade de ter um cluster de treinamento mais robusto. A Cromai utilizava um servidor com uma GPU direcionada ao treinamento de modelos de Deep Learning, e com esta configuração, a realização de experimentos ocorria de maneira demorada, em torno de 3 meses para treinar um modelo.
Os benefícios de treinamento de redes neurais em múltiplas GPUs em paralelo
Entendendo as necessidades da Cromai, o objetivo da nossa solução era a redução do tempo de treinamento sem que isso afetasse, de uma forma significativa, o custo dele e as métricas de performance do modelo. Estávamos confiantes, pois conseguimos entregar um bom resultado, conhecendo as possibilidades do Amazon SageMaker.
Inicialmente, nós tínhamos duas grandes vantagens que contribuíram para o sucesso do projeto. A primeira delas é que na AWS é possível usar instâncias de treinamento muito potentes, equipadas com várias GPUs modernas por instância. Essa alteração tem seus benefícios em termos de pura performance.
Em segundo, é possível distribuir o treinamento em mais de uma instância. Esta tarefa não é algo trivial, já que o treinamento de redes neurais, mesmo sendo distribuído, precisa manter sincronia entre as suas instâncias e GPUs. Para esta tarefa existem frameworks, como SageMaker distributed.
No caso do nosso projeto, devido a uma necessidade técnica, optamos pelo Horovod, framework open-source de treinamento distribuído para algoritmos de deep learning.
O Amazon SageMaker suporta esse framework e a nossa principal tarefa era a adequação do script de treinamento da Cromai para o ambiente do Amazon SageMaker. Utilizamos o S3 como armazenamento de dados de treinamento e, principalmente, adicionamos a camada do Horovod no script de treinamento.
Criamos também uma forma fácil e com transparência de custo para a Cromai escolher a quantidade e o tipo das instâncias de cada treinamento.
Criamos também uma forma fácil e com transparência de custo para a Cromai escolher a quantidade e o tipo das instâncias de cada treinamento.
Redução do tempo de treinamento e o impacto no negócio
Diminuir o tempo de treinamento era fundamental para a escalada dos projetos na Cromai, a demora no tempo do treinamento dos modelos estava afetando diretamente o sucesso do negócio.
Graças ao domínio do nosso time sobre as possibilidades existentes no Amazon SageMaker e a estratégia elaborada, conseguimos de forma efetiva resolver essa dor.
A solução desenvolvida impactou bruscamente o tempo de treinamento que caiu de 3 meses para 6 dias, mantendo todas as métricas de performances existentes. Em caso de necessidade a Cromai tem uma opção de aumentar o investimento no treinamento a fim obter resultados em até 3 dias.
Com a diminuição do tempo a interação ficou mais frequente, isso aumentou a agilidade e o time de tecnologia da Cromai agora passar mais tempo fazendo o que ama: tornar as soluções melhores e mais adequadas à realidade do produtor rural.
Sobre a DNX
Na DNX Brasil trabalhamos para trazer a melhor experiência em Cloud e aplicações para empresas nativas digitais no Brasil.
Atuamos em áreas com foco em AWS, Well-Architected Solutions, Contêineres, ECS, Kubernetes, Integração e Entrega Contínua e Soluções de Mesh e Soluções em Data (plataformas de dados, data lakes, machine learning, analytics e BI).
Confira nossos projetos de open-source em github.com/DNXLabs e siga-nos no LinkedIn, Twitter e Youtube.
Escrito por: Ladislav Vrbsky e Luis Campos / Revisão: Camila Targino
A eficacia de uma líderança depende do uso de dados para tomar decisões importantes, é preciso ter um olhar amplo com informações assertivas para ter ações significativas, assim é contruida uma estratégia de dados moderna para fornecer insights às pessoas e aplicações que precisam, com segurança e em qualquer escala. A DNX Brasil ajuda sua empresa a aplicar análise de dados em seus casos de uso mais críticos para os negócios com soluções completas que precisam de experiência em dados.
Descubra o valor dos dados
20
jul
MyDeal: Projeto de transformação abrangente concluído em metade do tempo
Sobre MyDeal
MyDeal.com.au é um importante marketplace australiano focado em produtos para o lar e estilo de vida. Com mais de 800 vendedores ativos, oferece mais de 5 milhões de produtos em 2.000 categorias. A maioria dos vendedores no MyDeal são empresas australianas.
Fundado em Melbourne por Sean Senvirtne em 2011, o MyDeal se tornou uma empresa listada publicamente na Bolsa de Valores da Austrália (ASX) em outubro de 2020. Sua missão é tornar a vida mais acessível para todos os australianos, oferecendo os melhores preços em uma ampla variedade de produtos, aliados a um incrível atendimento ao cliente para uma experiência de compra perfeita. O MyDeal dedica-se à qualidade dos produtos, à proteção dos interesses dos clientes e ao apoio ao comércio justo. Eles demonstram esse compromisso ao aderir ao Compromisso de Segurança do Produto da ACCC (Comissão Australiana de Concorrência e Consumidores).
O Desafio do Negócio
O MyDeal é uma solução personalizada já hospedada no ambiente da AWS. Para melhorar sua segurança e capacidade de escala, o MyDeal entendeu a necessidade de modernizar sua infraestrutura existente para aumentar a resiliência e a produtividade. Além disso, a modernização garantiria a confiabilidade dos seus dados e ofereceria insights atualizados para tomar as melhores decisões de negócio, avaliar a saúde do sistema e aumentar a produtividade.
Ao optar pela modernização, o MyDeal estava se preparando para o futuro. Isso significa que eles poderiam reduzir o risco de possíveis falhas no sistema que poderiam resultar na incapacidade de operar por um longo período de tempo, garantindo que não percam receita em grandes eventos de vendas e, o mais importante, protegendo sua reputação. A modernização liberaria tempo para a equipe de desenvolvimento existente focar na criação de novos recursos em resposta a uma abordagem contínua de experiência do cliente. Como benefício adicional, a modernização facilita o processo de atrair e reter profissionais mais qualificados para a equipe do MyDeal.
DNX entrega um projeto de transformação de um ano em apenas 6 meses
A equipe do DNX, juntamente com a AWS, realizou uma extensa revisão da infraestrutura e dos objetivos de negócios do MyDeal, resultando em um roteiro claro apresentando fases, custo, cronograma, prioridades e as próximas etapas, permitindo que sua equipe continue usando as melhores práticas da AWS e as técnicas mais recentes para desenvolver aplicações.
O projeto foi dividido em 3 fases:
Na Fase 1, a equipe da DNX construiu uma fundação de plataforma em nuvem well-architected para implantar a plataforma da AWS usando o Citadel Foundation. O novo ambiente utiliza Infrastructure as Code (IaC), Elastic Beanstalk, Elastic Search, Redis, RDS, SQS, OpenSearch, Secrets com Terraform e usa um pipeline de CI/CD.
A DNX construiu todos os ambientes lógicos (produção, staging, dev, etc.), facilitando e tornando amigável para os desenvolvedores da MyDeal criar novos ambientes. O uso de IaC garante que esse ambiente seja igual ao de produção.
Na fase 2, a equipe da DNX criou uma plataforma nativa em nuvem para suportar as aplicações da MyDeal no AWS Elastic Beanstalk com um pipeline de CI/CD.
Na fase 3, a DNX implementou a transformação da aplicação, migrando todas as aplicações em EC2s para o Elastic Beanstalk com um pipeline completo de CI/CD.
odos os deploys são automatizados para garantir que a MyDeal chegue à produção e dê suporte a todas as aplicações: Windows .NET, mensagens, serviços de tarefas, processo de CI/CD, métricas, logs, autoescalonamento e alertas. A DNX criou pipelines que permitem que a equipe da MyDeal implante aplicações no ambiente desejado apenas pressionando um botão. Implantações Blue/Green foram habilitadas para garantir que a equipe possa testar a aplicação antes de ir ao ar. Os diferentes serviços foram separados e alarmes foram implementados para verificar possíveis erros nas aplicações e no banco de dados, bem como o dimensionamento da aplicação.
A DNX entregou todos os componentes-chave para a nova plataforma, permitindo que a equipe da MyDeal faça a transição para um novo ambiente de produção no seu próprio ritmo. A MyDeal utilizou o Managed Services da DNX durante e após a transição para garantir que tudo continuasse funcionando perfeitamente.
AWS Services Used
Resultados
Increased Security
Citadel Foundation é uma plataforma construída com infraestrutura como código e tecnologias de código aberto, projetada com princípios de bem-arquitetura para AWS. Isso significa implementar uma base de identidade sólida, aplicar segurança em todas as camadas, automatizar as melhores práticas de segurança e aumentar a segurança e proteção de dados. Ao usar o Citadel, a DNX economizou o tempo necessário para construir uma infraestrutura segura do zero e conseguiu entregar a solução da MyDeal em um prazo significativamente reduzido.
Melhoria de Desempenho
Ao automatizar o processo existente, a equipe da MyDeal pode se concentrar no desenvolvimento de produtos em vez de provisionamento e gerenciamento de recursos.
Maior Confiabilidade
Ao monitorar o desempenho do sistema da MyDeal, sua equipe pode remediar quaisquer problemas antes que afetem os clientes e implementar processos de recuperação automatizados que contornam ou reparam as falhas.
Aumento da Agilidade
A flexibilidade e agilidade aumentadas proporcionadas pela nuvem incentivam a inovação e o desenvolvimento e implantação acelerados. Isso elimina os processos manuais e o tempo associado ao provisionamento das Melhores Práticas da AWS Well-Architected Framework em infraestrutura local e, em seguida, à implantação dos recursos.
Melhoria na Escalabilidade
O Auto Scaling garante elasticidade com mínimo esforço e aumenta a produtividade da equipe ao eliminar o planejamento manual de capacidade.
Abordagem Única da DNX
A DNX possui as competências AWS Security e DevOps APN e é uma parceira AWS Well-Architected partner. Isso significa que todos os projetos da DNX são entregues com as melhores práticas operacionais e arquitetônicas, mantendo clientes como MyDeal seguros e ajudando-os a avançar rapidamente com o Citadel Foundation.
O projeto foi entregue por profissionais dedicados e experientes das nossas equipes digitais, de dados e de nuvem, utilizando a metodologia ágil com o conceito DevOps.
Na metodologia ágil, o escopo do projeto é planejado e distribuído em sprints de acordo com as prioridades, dependências e valor entregue. A equipe da DNX está constantemente ouvindo e atendendo às solicitações dos clientes à medida que surgem demandas inesperadas e mudanças durante o projeto.
Isso garante uma entrega constante, permitindo que um projeto de um ano seja concluído em apenas seis meses. Além disso, a DNX entrega valor aos clientes desde o início.
O DevOps remove as estruturas organizacionais com o objetivo de reunir diferentes áreas da MyDeal para possibilitar o desenvolvimento ágil. Ele enfatiza a colaboração e a comunicação, exigindo que todas as equipes sejam responsivas e realizem avaliação de riscos.
Durante todo o projeto, a DNX compartilha conhecimento da infraestrutura em construção, conceitos de nuvem e as melhores práticas da AWS e da indústria para a construção de aplicações melhores. Esse compartilhamento de conhecimento capacita o cliente a manter seu novo ambiente de forma segura, confiável e eficiente após a conclusão do projeto.
Próximos Passos
No futuro, a equipe da DNX continuará apoiando a MyDeal em seu caminho para a modernização completa do Windows e dos dados. Será realizada uma detalhada descoberta do Windows, na qual as equipes da DNX e da MyDeal discutirão o estado atual da arquitetura, infraestrutura, processo de lançamento e processo de negócios da MyDeal. O resultado final será um roadmap de modernização, avaliação de carga de trabalho, roadmap de modernização do Windows, arquitetura alvo e plano do projeto de modernização, tudo baseado em decisões informadas.
Além disso, a DNX continuará capacitando e empoderando a equipe da MyDeal por meio de workshops e do programa de capacitação AWS Developer Acceleration (DevAx).
Durante nosso processo de seleção, a DNX Solutions se destacou como a abordagem mais abrangente e adaptada ao nosso negócio. Foi fácil comunicar nossas circunstâncias únicas e vê-las representadas no plano, e a equipe deles foi bastante flexível na abordagem a ser usada. O resultado final nos oferece uma plataforma na qual podemos confiar, que segue as melhores práticas e nos permite expandir à medida que nosso negócio cresce. É um grande alívio para nossa equipe saber que temos esse espaço bem coberto e agora podemos focar em nossos esforços contínuos de desenvolvimento.
02
maio
CreditorWatch Democratises Credit Data
CreditorWatch was founded in 2010 by a small business owner who wanted to create an open source, affordable way for SMBs to access and share credit risk information. Today, CreditorWatch’s subscription-based online platform enables its 55,000+ customers—from sole traders to listed enterprises—to perform credit checks and determine the risk to their businesses. It also offers additional integrated products and services that help customers make responsible, informed credit decisions.
CreditorWatch helps businesses understand who they are trading with and any creditor issues associated with that particular business. They analyse data from 30 different sources, including both private and government sources. Some of their most powerful behaviour data is crowdsourced from their very own customers providing insights into businesses. Ultimately, CreditorWatch customers get access to Australia’s most insightful business credit rating.
The Challenge of Australia’s Largest Commercial Credit Bureau
An expansion phase saw major corporations, including Australia’s Big Four banks, looking to leverage CreditorWatch’s rich dataset and granular analytics capabilities. As a result, CreditorWatch decided to increase its agility and efficiency. With the need to provide a continuously secure and compliant environment, with reduced costs and increased time to market, CreditorWatch engaged with DNX Solutions. DNX was tasked with creating and executing a roadmap for the improvements, targeting cloud-native concepts, and bringing more efficiency to the IT and Operations teams.
Through workshops during the discovery phase, DNX determined CreditorWatch’s business and technical capabilities, such as the interdependencies, storage constraints, release process, and level of security. With the required information at hand, DNX developed a roadmap to meet CreditorWatch’s Technical and Business objectives, using AWS best practices “The 7R’s” (retire, retain, relocate, rehost, repurchase, replatform, and refactor).
A Safe Environment to Meet ISO Standards
To continue delivering a safe platform to their customers and meeting the requirements of ISO and other compliance standards, DNX constructed a new secure AWS environment utilising its DNX.one Foundation.
Rather than undergoing a lengthy and expensive process each time a safe environment needs to be recreated, DNX.one helps customers build secure and scalable container platforms at high-availability and low-cost. This unique marketplace solution designed for AWS with well-architected principles combines years of cloud experience in a platform focused on simplicity, infrastructure-as-code and open sources technologies. In addition, DNX.one provides a consistent approach to implementing designs that will scale CreditorWatch’s application needs over time.
Once CreditorWatch’s environment was secured with the best AWS and industry practices, it was time to move to the modernisation phase.
Instant Cost Reduction of 120K per Year With Data Modernisation
Due to the amount of data received on a daily basis, CreditorWatch’s database increases considerably in size and cost.
The DNX data team worked on the data Engineering by optimising CreditorWatch’s Aurora database and its tools to full capability.
Amazon Aurora is a MySQL and PostgreSQL-compatible relational database built for the cloud that combines the performance and availability of traditional enterprise databases with the simplicity and cost-effectiveness of open source databases.
Amazon Aurora features a distributed, fault-tolerant, self-healing storage system that auto-scales up to 128TB per database instance. It delivers high performance and availability with up to 15 low-latency read replicas, point-in-time recovery, continuous backup to Amazon S3, and replication across three Availability Zones.
Aurora data is stored in the cluster volume, which is a single, virtual volume that uses solid state drives (SSDs). A cluster volume consists of copies of the data across three Availability Zones in a single AWS Region. Because the data is automatically replicated across Availability Zones, customers’ data is highly durable with less possibility of data loss. This replication also ensures that databases are more available during a failover.
The Aurora cluster volume contains all user data, schema objects, and internal metadata, such as the system tables and the binary log. Its volumes automatically grow as the amount of data in the customer’s database increases.
With extensive data knowledge and years of experience with AWS solutions and tools, DNX provided a unique solution to configure Aurora Database leveraging its full capabilities, which resulted in an instant cost reduction of over 90K per year related to instant threshold of data availability.
The DNX team also created an automated archiving process utilising AWS Airflow, which analyses CreditorWatch’s database tables, identifying data which is unused for a period of time. Unused data is then archived with a different type of file storage at a cheaper rate than S3. This process resulted in an additional cost reduction of 30K per year.
The Unique Value DNX brought to the CreditorWatch Project
DNX Solutions utilised its knowledge on DevOps, Cloud, data, and Software Engineering to provide CreditorWatch with a secure environment that continually meets ISO and other compliance standards. The diversity of experience integrated within the DNX team allowed for instant identification of areas for improvement in CreditorWatch’s systems. In addition, DNX assisted CreditorWatch in bringing about a cultural change by transferring its DevOps mindset approach. Not only was the goal of agility and efficiency reached by the close of the project, but significant storage cost reductions were made enabling CreditorWatch to compete to a higher standard and continue to expand.
A eficacia de uma líderança depende do uso de dados para tomar decisões importantes, é preciso ter um olhar amplo com informações assertivas para ter ações significativas, assim é contruida uma estratégia de dados moderna para fornecer insights às pessoas e aplicações que precisam, com segurança e em qualquer escala. A DNX Brasil ajuda sua empresa a aplicar análise de dados em seus casos de uso mais críticos para os negócios com soluções completas que precisam de experiência em dados.
Descubra o valor dos dados
22
out
Waterco: Moving from Heroku to AWS without adding infrastructure operations
About Waterco — Poolware
Established in 1981, Waterco is a global brand reputed for designing and manufacturing filtration and sanitisation systems. Waterco’s products are widely used in swimming pools, spas, aquacultures, and the water purification industry. Their products are used for residential, commercial, and industrial applications across over 40 countries.
One of Waterco’s applications is Poolware, a proprietary software which analyses, calculates, and diagnoses both the chemical interactions and current water conditions.
The Business Challenge
After about two decades operating the Poolware in a desktop format, Waterco was ready to improve its user experience offerings, providing users convenient access to Poolware across multiple smart devices. Instead of purchasing or licensing existing cloud-based solutions, Waterco developed its own independently, uploading it into the cloud in 2018.
From the beginning, Heroku was the go-to solution stemming from their developer experience (DX) and for reducing infrastructure operations overheads. Having used Heroku for a few years, Waterco believes it is necessitous to improve the efficacy of resource-usage, without increasing infrastructural operations, being able to grow more dynamically, remaining light on infrastructure operations, and having more control in the long-run. However, Heroku was limiting Waterco’s ability to achieve it.
DNX Solutions was tasked by Waterco to satisfy and achieve their main business objectives. One key decision was to transition from Heroku to AWS. With AWS, Waterco’s primary goals could be easily achieved with an elastic and cost-effective architecture uploaded to the cloud.
The Solution
Prior to starting the project, DNX’s teams ran a thorough evaluation of Waterco’s requirements, and reviewed their incumbent delivery processes through DNX’s DevOps. This approach provided adequate guidance to the team throughout the DevOps process. The journey entailed building a robust foundation and the standardization and automation of certain processes. This combination of technologies enables DNX solutions to produce applications efficiently and reliably.
The project started by deploying our DNX Well-Architected foundation, also called DNX.One. The platform incorporates a robust and extremely secure cloud environment, is fully automated using Terraform, and handles most of the infrastructure operations leveraging a well-architected AWS implementation, including Docker containers.
The plan for “Application Modernisation” proposes the movement of applications to ECS cluster in EC2 instances for better resource usage, vis-à-vis the operational model in Heroku titled “Dynos”.
Upon deployment of DNX.One, we modernised Poolware’s deployment design by moving it to Docker containers, bringing together both the existing automated tests and database migration scripts to its CI/CD pipeline.
AWS Foundations:
Building a strong and solid foundation for Waterco’s applications was a critical first step prior to modernisation. Using a multi-AZ strategy with ECS nodes running on spot instances, Waterco was able to run a Cluster of Docker Containers across availability zones and EC2 instances, while optimising cost.
Costs savings
Here’s a compute price comparison* of more or less similar instances and the cost per month:
-
AWS: t3.micro (1GiB) — $0.004 per hour ($2.88 per month)
-
Heroku (Dyno): standard-2x (1024MB) ($50.00 per month)
94.24% reduction
-
AWS: c5.2xlarge (16GiB) — $0.1382 per hour ($99.5 per month)
-
Dyno: performance-l (14GB) ($500.00 per month)
80.1% reduction
Application Modernisation
Poolware had previously adopted some of the 12-factor principles. So, we applied additional cloud-native concepts to it during the modernisation phase, focused especially on building, releasing, and running.
With better usage of the AWS resources, the developed application was able to benefit from improved operational excellence in AWS, and increased elasticity in the cloud.
Each environment in AWS was made identical to one another, varying only in EC2 instance types in each environment. Differences include development, QA/Staging and finally production. The same immutable application image was deployed and tested across these environments. By adopting this approach, Waterco has improved its operational resilience, greatly reducing production incidents to zero through its self-healing platform.
CI/CD Pipeline
We used AWS EC2 instances to run complex CI/CD pipelines using spot instances, optimising steps such as database migration and automated tests running in parallel steps via Gitlab. Hundreds of pipelines are triggered daily at minimal operational cost. Moreover, this reduced the number of production incidents while increasing their current test capacity.
Some of the AWS Services provisioned:
- AWS ECS
- AWS Elastic File System (EFS)
- System Manager
- CloudTrail
- Aurora Cluster
- Cloud Watch
- Code Deploy
Conclusion
From conception to its conclusion, the migration project of Heroku to AWS was completed in approximately one month. The new Docker+AWS environment implementation allowed Waterco to achieve twice the performance and efficacy as compared to their previous Heroku environment. Their production quality, and their ability to release more products frequently have increased. Furthermore, developer and QA productivity has improved significantly. Now, Waterco only needs to run half the number of servers, cutting the hosting bill by approximately 25%.
*prices comparison performed in 11/06/2020 sources:
Na DNX Brasil, trabalhamos para entregar a melhor experiência em nuvem e aplicações para empresas nativas digitais. Trabalhamos com foco total em soluções AWS, Well-Architected Solutions, Containers, ECS, Kubernetes, Integração Contínua/Entrega Contínua e Malha de Serviços. Estamos sempre em busca de profissionais experientes em cloud computing para nosso time, focando em conceitos cloud-native. Confira nossos projetos open-souce em https://github.com/DNXLabs e siga-nos no Twitter, Linkedin or YouTube.
Sem spam - apenas novidades, atualizações e informações técnicas.
Tenha informações das últimas previsões e atualizações tecnológicas
