About Waterco — Poolware
Established in 1981, Waterco is a global brand reputed for designing and manufacturing filtration and sanitisation systems. Waterco’s products are widely used in swimming pools, spas, aquacultures, and the water purification industry. Their products are used for residential, commercial, and industrial applications across over 40 countries.
One of Waterco’s applications is Poolware, a proprietary software which analyses, calculates, and diagnoses both the chemical interactions and current water conditions.
The Business Challenge
After about two decades operating the Poolware in a desktop format, Waterco was ready to improve its user experience offerings, providing users convenient access to Poolware across multiple smart devices. Instead of purchasing or licensing existing cloud-based solutions, Waterco developed its own independently, uploading it into the cloud in 2018.
From the beginning, Heroku was the go-to solution stemming from their developer experience (DX) and for reducing infrastructure operations overheads. Having used Heroku for a few years, Waterco believes it is necessitous to improve the efficacy of resource-usage, without increasing infrastructural operations, being able to grow more dynamically, remaining light on infrastructure operations, and having more control in the long-run. However, Heroku was limiting Waterco’s ability to achieve it.
DNX Solutions was tasked by Waterco to satisfy and achieve their main business objectives. One key decision was to transition from Heroku to AWS. With AWS, Waterco’s primary goals could be easily achieved with an elastic and cost-effective architecture uploaded to the cloud.
The Solution
Prior to starting the project, DNX’s teams ran a thorough evaluation of Waterco’s requirements, and reviewed their incumbent delivery processes through DNX’s DevOps. This approach provided adequate guidance to the team throughout the DevOps process. The journey entailed building a robust foundation and the standardization and automation of certain processes. This combination of technologies enables DNX solutions to produce applications efficiently and reliably.
The project started by deploying our DNX Well-Architected foundation, also called DNX.One. The platform incorporates a robust and extremely secure cloud environment, is fully automated using Terraform, and handles most of the infrastructure operations leveraging a well-architected AWS implementation, including Docker containers.
The plan for “Application Modernisation” proposes the movement of applications to ECS cluster in EC2 instances for better resource usage, vis-à-vis the operational model in Heroku titled “Dynos”.
Upon deployment of DNX.One, we modernised Poolware’s deployment design by moving it to Docker containers, bringing together both the existing automated tests and database migration scripts to its CI/CD pipeline.
AWS Foundations:
Building a strong and solid foundation for Waterco’s applications was a critical first step prior to modernisation. Using a multi-AZ strategy with ECS nodes running on spot instances, Waterco was able to run a Cluster of Docker Containers across availability zones and EC2 instances, while optimising cost.
Costs savings
Here’s a compute price comparison* of more or less similar instances and the cost per month:
-
AWS: t3.micro (1GiB) — $0.004 per hour ($2.88 per month)
-
Heroku (Dyno): standard-2x (1024MB) ($50.00 per month)
94.24% reduction
-
AWS: c5.2xlarge (16GiB) — $0.1382 per hour ($99.5 per month)
-
Dyno: performance-l (14GB) ($500.00 per month)
80.1% reduction
Application Modernisation
Poolware had previously adopted some of the 12-factor principles. So, we applied additional cloud-native concepts to it during the modernisation phase, focused especially on building, releasing, and running.
With better usage of the AWS resources, the developed application was able to benefit from improved operational excellence in AWS, and increased elasticity in the cloud.
Each environment in AWS was made identical to one another, varying only in EC2 instance types in each environment. Differences include development, QA/Staging and finally production. The same immutable application image was deployed and tested across these environments. By adopting this approach, Waterco has improved its operational resilience, greatly reducing production incidents to zero through its self-healing platform.
CI/CD Pipeline
We used AWS EC2 instances to run complex CI/CD pipelines using spot instances, optimising steps such as database migration and automated tests running in parallel steps via Gitlab. Hundreds of pipelines are triggered daily at minimal operational cost. Moreover, this reduced the number of production incidents while increasing their current test capacity.
Some of the AWS Services provisioned:
- AWS ECS
- AWS Elastic File System (EFS)
- System Manager
- CloudTrail
- Aurora Cluster
- Cloud Watch
- Code Deploy
Conclusion
From conception to its conclusion, the migration project of Heroku to AWS was completed in approximately one month. The new Docker+AWS environment implementation allowed Waterco to achieve twice the performance and efficacy as compared to their previous Heroku environment. Their production quality, and their ability to release more products frequently have increased. Furthermore, developer and QA productivity has improved significantly. Now, Waterco only needs to run half the number of servers, cutting the hosting bill by approximately 25%.
*prices comparison performed in 11/06/2020 sources:
Na DNX Brasil, rabalhamos para trazer uma melhor experiência em nuvem e aplicações para empresas nativas digitais. Trabalhamos com foco em AWS, Well-Architected Solutions, Containers, ECS, Kubernetes, Integração Contínua/Entrega Contínua e Malha de Serviços. Estamos sempre em busca de profissionais experiêntes em cloud computing para nosso time, focando em conceitos cloud-native. Confira nossos projetos open-souce em https://github.com/DNXLabs e siga-nos no Twitter, Linkedin or YouTube.
Sem spam - apenas novidades, atualizações e informações técnicas.
Tenha informações das últimas previsões e atualizações tecnológicas
Related Posts
10
fev
Os conceitos básicos de migração para a nuvem
O que é a migração para nuvem?
O conceito de migração em nuvem é bem difundido principalmente por pessoas que usam o armazenamento em nuvem no seu dia-a-dia. Então o que há de novidade sobre este assunto?
De maneira simples, a migração em nuvem é o processo de mover uma informação de uma fonte local para um ambiente de computação em nuvem.
Você já deve estar pensando na possibilidade de mover todos os seus dados e programas importantes do seu computador para um local onde eles são, automaticamente, copiados e protegidos. Se por acaso acontecer algum tipo de acidente com seu computador ou até mesmo se ele for roubado, mesmo assim você ainda teria acesso aos seus dados a partir de outro computador, e seria capaz de atualizar as funções de segurança, caso tenha ocorrido uma violação.
Com uma maior movimentação de funcionários e expansão da empresa, armazenar dados na nuvem facilita a segurança e inovação nos negócios, conduzindo para uma boa governança e eficiência, e prepara você para o futuro digital.
Em grande escala, a migração em nuvem para empresas inclui a migração de dados, aplicações, informações e outros elementos do negócio. Além disso, pode envolver a mudança de um data center local para a nuvem ou de uma plataforma de nuvem para outra.
O principal benefício é que, por meio da migração em nuvem, sua empresa pode hospedar aplicativos e dados no ambiente de TI da maneira mais eficaz possível, com uma infraestrutura flexível e com capacidade para escalar. Isso aumenta a economia de custos, o desempenho e a segurança do seu negócio a longo prazo.
A migração em nuvem é uma transformação que com certeza vai liderar os próximos passos pensando no futuro da sua empresa.
Quais são os benefícios de migrar para a nuvem?
A nuvem traz agilidade e flexibilidade ao seu ambiente de negócios. À medida que avançamos para o mundo de workspaces digitais, a migração para a nuvem volta-se para oportunidades de inovação mais aprimoradas, além do tempo de entrega ser mais rápido.
Com isso, as empresas vão obter todos os tipos de benefícios, incluindo a redução dos custos operacionais, TI simplificada, escalabilidade aprimorada e desempenho atualizado.
Estar em conformidade com as leis de privacidade de dados fica muito mais fácil, e a automação e a IA começam a melhorar a velocidade e a eficiência de suas operações. A migração para a nuvem tem como um dos principais resultados a otimização para quase todas as partes do seu negócio.
Quais são as opções para a migração em nuvem?
Existem seis métodos principais usados para migrar aplicações e bancos de dados para a nuvem. Vamos vê-los a seguir:
- Rehosting (“Lift-and-shift”). Por meio desse método, a aplicação é movida para a nuvem sem que nenhuma alteração seja feita para otimizar a aplicação para o novo ambiente. Permitindo uma migração mais rápida, e as empresas podem optar por realizar otimizações mais tarde.
- Replatforming (“Lift-tinker-and-shift”). Isso envolve fazer algumas otimizações em vez de migrar estritamente um banco de dados legado.
- Re-purchasing. Por meio dessa ação, é possível a compra de um novo produto, seja transferindo sua licença de software para um servidor online ou substituindo-o inteiramente usando opções de SaaS.
- Re-architecting/Refactoring. Esse método envolve o desenvolvimento de aplicações usando recursos nativos da nuvem. Embora, inicialmente, seja mais complexo, esse método, quando focado no futuro, oferece uma maior oportunidade de otimização.
- Retiring. Nesse caso, as aplicações que não são mais necessárias são aposentadas, obtendo assim, economia de custos e eficiência operacional.
- Retaining. Essa é uma opção para deixar certas aplicações como estão, com o potencial de revisitá-los no futuro e decidir se vale a pena migrar.
Quanto custa?
A migração para a nuvem requer uma estratégia abrangente, levando em consideração os vários desafios que envolvem, como o gerenciamento, as tecnologias e os recursos. Assim, o custo da migração pode variar muito, principalmente, porque os objetivos e requisitos são diferentes entre as organizações.
As opções de financiamento podem estar disponíveis para sua empresa ao migrar para a AWS. Dessa forma, considerar cuidadosamente todas as suas opções, incluindo as oportunidades, pode impactar a sua decisão e as metodologias que você escolher seguir.
Nos últimos anos, tecnologias e empresas de computação em nuvem foram desenvolvidas para criar facilidade e eficiência no processo de migração. Este é o caso da DNX.
Como a DNX pode te ajudar com a migração para a nuvem?
A DNX identifica as necessidades do seu negócio e traça o melhor caminho, tornando sua jornada de migração mais simples, rápida e econômica.
Com um processo de migração para a nuvem seguro e rápido, desde o primeiro dia, preparamos sua empresa para o sucesso.
Usar a expertise da DNX para Migração em Nuvem significa migrar da maneira certa — e ter todos os benefícios da AWS — por meio de uma base exclusiva, segura e automatizada.
A DNX facilita a migração para um ambiente AWS Well-Architected e compatível. Como parte do processo, modernizamos suas aplicações para que você possa aproveitar os benefícios das tecnologias nativas da nuvem. Isso significa que desde o início, a sua empresa vai desfrutar de mais resiliência, eficiência de custos, escalabilidade, segurança e disponibilidade.
A DNX Brasil tem as melhores soluções e a experiência que você precisa para impulsionar seu negócio. Entre em contato conosco para obter um plano para sua jornada na nuvem.
06
fev
DNX Solutions ganha dois prêmios de parceiro do ano da AWS
Os prêmios APN Partner são concedidos pela AWS todos os anos para reconhecer a excelência do partner na AWS Partner Network (APN). Em novembro de 2022, a DNX Solutions teve o orgulho de ser nomeada Parceira do Ano em duas categorias, recebendo os prêmios na conferência AWS re:Invent em Las Vegas.
Recebemos as maiores honras da AWS ao sermos nomeados Global Social Impact Partner of the Year e APJ (Asia Pacific and Japan) Industry Partner of the Year, cuja combinação é um reflexo perfeito do que buscamos como empresa.
O prêmio Social Impact reconhece os parceiros da AWS que estão comprometidos em retribuir à sociedade e mudar o mundo para melhor. Na DNX, entendemos o poder que a tecnologia tem para melhorar a vida das pessoas ao nosso redor e nos dedicamos a fornecer soluções inovadoras para organizações que fazem a diferença. Uma dessas organizações solicitou a assistência da DNX Solutions durante o desenvolvimento de um aplicativo inteligente da MedTech quando começaram a ter dificuldades com armazenamento, criptografia e transmissão do firmware do processador de som.
A DNX forneceu todo o código de back-end e infraestrutura necessários, permitindo que as atualizações remotas de firmware do dispositivo fossem executadas por meio da AWS cloud, construídas em um pipeline automatizado e compatível. Isso não apenas reduziu o tempo de atualização de vários dias para apenas 5 minutos, mas também evitou que os destinatários tivessem que viajar para uma clínica física, o que significa que eles poderiam se manter seguros durante os lockdows do Covid-19 na Austrália. Além disso, a modernização levou os recursos de teste aprimorados, reduzindo o tempo de implantação de 5 horas para 30 minutos. No geral, como resultado do trabalho da DNX, o go-to-market da MedTech foi drasticamente reduzido de 3 meses para 5 dias, e milhares de pessoas receberam o suporte e atendimento de que precisavam, sem ter que esperar.
O prêmio Industry Partner of the Year vai para os parceiros da AWS que demonstram profundo conhecimento do setor e resolvem com sucesso os pontos problemáticos específicos do setor. Nos últimos anos, a equipe da DNX Solutions tem se concentrado em setores regulados, como MedTech e FinTech, entre outros. Essas indústrias geralmente exigem que as empresas cumpram regulamentações rigorosas para continuar operando, e essas regulamentações diferem não apenas entre indústrias, mas também entre regiões.
A DNX Solutions foi fundada em 2019 por Helder Klemp (CEO) e Allan Denot (CTO) com a missão de democratizar o acesso à cloud. E em janeiro de 2021 abriu sua branch no Brasil, tendo a frente Emanuel Estumano como CEO (Brazil).
Como uma empresa especializada em cloud e parceira de consultoria avançada da AWS, temos orgulho de oferecer soluções avançadas de nível empresarial para startups, scale-ups e SMBs na Austrália e no mundo. Em menos de quatro anos, nossa equipe alcançou resultados surpreendentes, incluindo 2 competências da AWS e mais de 100 certificações da AWS em nossa equipe, 4 programas de parceiros, 2 validações de serviços da AWS e mais de 100 lançamentos de clientes. Ser nomeado Parceiro do Ano da APJ e Parceiro de Impacto Social Global do Ano são duas conquistas adicionais que demonstram a experiência e a paixão que nos motivam todos os dias.
A DNX Solutions é composta por uma equipe qualificada e experiente de consultores de nuvem e engenharia de dados com uma gama de soluções de alta qualidade disponíveis. Nosso objetivo é continuar injetando valor nas organizações de nossos clientes, ajudando-os a aproveitar tudo o que a nuvem AWS tem a oferecer.
A DNX Brasil tem as melhores soluções e a experiência que você precisa para impulsionar seu negócio. Entre em contato conosco para obter um plano para sua jornada na nuvem.
06
fev
Saiba mais sobre os benefícios do Managed Services para a sua empresa
A tecnologia está se aprimorando cada vez mais rápido e, com isso, inúmeras mudanças ocorrem diariamente em nosso cotidiano. Há também uma grande variedade de produtos e serviços acompanhando uma demanda crescente por profissionais da área de Tecnologia da Informação.
Nesse contexto, quando analisamos o cenário atual dos serviços em Cloud, percebemos que a situação não está tão diferente. Por ser ainda, uma área de trabalho relativamente recente, os profissionais atuantes são raros no mercado e quando encontrados, demandam um alto pagamento.
Por isso, pensando em resolver e atender melhor esta dificuldade, a DNX criou o Managed Services. Assim, é possível encontrar e contratar profissionais extremamente qualificados em Cloud AWS.
Entenda como funciona o Managed Services disponibilizado pela DNX Brasil
Inicialmente, precisamos saber que a DNX Brasil é uma empresa cloud-native, isto é, focada na entrega de soluções altamente especializadas através de uma cultura de DevOps. Além disso, segue os princípios e valores da Well-Architected e é parceira Advanced da AWS.
Dessa forma, a DNX Brasil trabalha oferecendo o Managed Services através de pacotes de horas. Assim, geralmente, são contratados os pacotes nas modalidades de 40 horas, 80 horas ou 120 horas mensais.
O prazo mínimo de contrato é de 6 meses, momento no qual, o cliente realiza a contratação, de acordo com a sua perspectiva de necessidade. Pode ocorrer também um ajuste posterior. E se houver alguma situação que ultrapasse o pacote de horas previamente contratado, negociamos uma diferença por horas extras utilizadas.
Serviço sob medida, pague pelo que usar!
Assim, resumidamente, visto de uma forma mais administrativa e financeira, o Managed Services é um serviço de profissionais altamente qualificados, onde você paga pelo que for consumido.
Nesse aspecto, a empresa contratante evita arcar com os custos referentes à legislação trabalhista, como o 13º salário, férias, indenização, em caso de demissão sem justa causa, multa do FGTS etc. Bem como problemas comuns em equipes de TI como o Turnover e capacitação.
Dessa forma, entre os serviços realizados dentro do Managed Services encontram-se diversos tipos de trabalhos que podem ser iniciados a partir de uma demanda específica ou proativamente. Sempre alinhado às identificações de melhorias pela própria equipe da DNX.
Vantagens de optar pelo Managed Services
A DNX Brasil compreende que as interações estão se tornando cada vez mais rápidas, principalmente, quando o assunto envolve o mercado. Nesse caso, é comum também que empresas e startups não tenham tempo disponível ou a expertise necessária para lidar com a infraestrutura e os mais de 165 serviços e produtos oferecidos pela AWS.
Por esse motivo, nossos técnicos atuam de forma proativa a fim de propor e alcançar melhorias para o ambiente. Entre algumas atividades exercidas e realizadas pela nossa equipe, destacam-se:
- Checklists operacionais
- Análise de logs e alertas (Health Check de ambiente)
- Relatórios Mensais de Incidentes, Performance, Segurança e Custo
- Melhoria cabíveis e contínuas do ambiente (do ponto de vista do técnico)
- Controle e análise de billing
Outra atividade também exercida pela nossa equipe é a identificação de oportunidades de melhorias do ambiente AWS, como PoC (Provas de Conceito), WAFR (Well-Architecture Framework Review), Modernization, entre outras. Nesse contexto, algumas desses trabalhos podem gerar créditos* para o cliente, podendo ser utilizado de diversas formas, inclusive na fatura.
Possibilidade de trabalho sob demanda!
Nesse caso, vamos tratar de outro serviço, que é muito comum, e prestado através do Managed Services. Eles são os trabalhos efetuados sob demanda, que podem incluir projetos específicos, execução de determinada tarefa no ambiente AWS solicitada pelo cliente, entre muitas outras.
Logo a seguir, nós temos uma lista com um exemplo de outras atividades sob demanda:
- Gestão de incidentes (suporte)
- Atuação diferenciada conforme a gravidade
- Relatórios de solicitados pelo Cliente
- Gestão de backlog (melhorias e mudanças):
- Evolução do monitoramento com Grafana/Prometheus e Dashboards Customizados
- Automação em geral
- Projetos e Consultorias em geral
- Backlog de DevOps
Conheça os canais de comunicação do Managed Services
Como canal de comunicação do Managed Services, utilizamos diversas ferramentas para a abertura, acompanhamento e alinhamento das solicitações. Entre as quais, destacamos:
- Wrike – Com essa ferramenta é possível abrir e acompanhar os chamados abertos, bem como visualizar as horas utilizadas.
- Slack – É bastante utilizada para o alinhamento das atividades solicitadas pelos clientes e realizadas pela DNX Brasil.
- E-mail – É utilizado para envio de documentação e informações, sobretudo, quando se refere a detalhes administrativos e burocráticos.
Ao longo dessa leitura, você já percebeu que, se a sua empresa está passando por algum tipo de dificuldade em ambientes de Cloud e AWS, a DNX Brasil ´e a escolha certa para te ajudar.
Além disso, a DNX Brasil conta com profissionais altamente qualificados. Assim, se você deseja receber algum tipo de suporte para sua equipe de DevOps, entre em contato com a gente e peça por informações sobre o plano de horas oferecido no Managed Services.
Se além de profissionais especializados em AWS, sua empresa possui necessidade e interesse em um NoC com monitoramento 24/7 do seu ambiente, o Grupo Vibe Tecnologia possui esse serviço prestado pela Master uma das empresas do Grupo.
*A AWS possui também diversos programas de incentivo que oferecem créditos para o uso de seus produtos. Que pode ser para começar a utilizar o Migration, melhoria de ambiente como o WAFR e até um programa especial para as Startups chamado de AWS Activate.
Escrito por: Caio Iketani
A DNX Brasil tem as melhores soluções e a experiência que você precisa para impulsionar seu negócio. Entre em contato conosco para obter um plano para sua jornada na nuvem.
06
fev
One Foundation da DNX Brasil: melhore o desempenho de sua empresa
Em um mundo cada vez mais conectado e interligado, é essencial que as empresas demonstrem segurança, confiabilidade e estabilidade em suas operações para os clientes/usuários.
E com os avanços e serviços oferecidos pela tecnologia em cloud (nuvem), diversas empresas (de médio e grande porte) e startups estão migrando de seu ambiente local on-premise para um ambiente em cloud. Nesse caso, isso pode ocorrer de forma total ou híbrida.
Nesse contexto, onde se destacam grandes avanços tecnológicos, a Amazon Web Services (AWS) é uma das principais e mais abrangentes plataformas de cloud do mundo.
E a DNX Brasil, por ser um parceiro Advanced da AWS, oferece diversas soluções e benefícios que unem a qualidade e a excelência profissional em tecnologia em cloud.
Por isso, vamos conhecer agora a ferramenta One Foundation e como ela pode ajudar a sua empresa a escalar ainda mais. E aplicar o que há de mais atual na tecnologia em cloud.
A DNX Brasil é parceira Advanced da AWS
nicialmente, a DNX Brasil é uma empresa focada em cloud nativa, e é também certificada como Advanced Partner da AWS. Nós trabalhamos com um time técnico de engenheiros e arquitetos altamente capacitados. Logo, eles estão prontos para trazerem soluções eficientes em cloud para melhorar a organização de sua empresa/startup.
Ferramenta One Foundation da DNX
E, a fim de remediar um ambiente não otimizado para os recursos e soluções da AWS, a DNX criou um produto chamado One Foundation. Com essa ferramenta, somos capazes de melhorar o ambiente do cliente aplicando as melhores práticas do Well Architected.
Dessa forma, estamos aptos para ajudar as organizações a criarem ambientes com as melhores práticas baseadas nos seis pilares de uma estrutura Well-Architected.
Assim, nós da DNX One Foundation ajudaremos você a entender os prós e os contras das soluções, produtos e serviços oferecidos pela AWS. Nesse caso, ao criar sistemas em plataformas em cloud, podemos facilitar as decisões que você precisa tomar em prol da empresa/startup.
Para isso, ao usar o Well-Architected, as melhores práticas de arquitetura estarão ao seu alcance para projetar e operar sistemas confiáveis, seguros, eficientes e econômicos com o uso da tecnologia em cloud.
Como funciona a One Foundation?
Assim, por ser um parceiro da AWS do programa APN (Amazon Partner Network), a DNX Brasil possui arquitetos certificados. Eles analisam, criteriosamente, o ambiente do cliente para identificar os problemas e as soluções possíveis. Com o fim de produzir um plano de remediação e roadmap com soluções para curto, médio e longo prazo.
Logo, quando você contrata os serviços da DNX Brasil, inicialmente, fazemos um levantamento do estado atual do ambiente em questão. Nesse momento, consideramos os riscos que o ambiente atual pode conter e trabalhamos para tornar um ambiente que leve em conta as melhores práticas do Well-Architeced.
O levantamento feito pela DNX Brasil será valioso para a finalização do projeto, sendo fundamental para o recebimento de crédito do cliente.
Aplicação dos seis pilares da Well-Architected
Durante a execução do projeto, nossos técnicos atuarão levando em conta os seis pilares definidos pela AWS: segurança, confiabilidade, eficiência e performance, excelência operacional, otimização de custos e sustentabilidade. Com o objetivo de que o projeto esteja em conformidade com o que é considerado um ambiente Well-Architected.
No final do projeto, emitimos um relatório do ambiente, descrevendo os objetivos alcançados em comparação ao ambiente inicial, e apontamos o que foi melhorado.
Desse modo, com base no relatório que é enviado para a AWS, o ambiente passará por uma vistoria, com o propósito de identificar se foi solucionado o mínimo de 45% dos riscos levantados na fase inicial da avaliação.
Em caso positivo, a AWS disponibiliza um voucher no valor de U$ 5.000,00 em créditos, podendo ser usado de diferentes formas na conta do cliente.
Não perca mais tempo, se você possui uma conta na AWS e está interessado em ter um ambiente em conformidade com os seis pilares do Well Architected, entre em contato com a DNX Brasil para saber mais sobre a One Foundation, e como podemos te ajudar!
Escrito por: Caio Iketani
A DNX Brasil tem as melhores soluções e a experiência que você precisa para impulsionar seu negócio. Entre em contato conosco para obter um plano para sua jornada na nuvem.
06
fev
Saiba o que realmente são as práticas Well-Architected da AWS
Não é de hoje que a computação em nuvem vem revolucionando o mundo. Nesse contexto, com as soluções encontradas, diversas áreas da vida cotidiana estão se transformando.
E no que se refere aos serviços em nuvem (cloud services), há inúmeras possibilidades de uso que podem variar de acordo com os interesses da empresa e/ou startup.
Assim, nesse meio, é comum nos depararmos com os seguintes termos: PaaS, Plataform as a Service, SaaS, Software as a Service, IaaS, Infrastructure as a Service, entre outros. Processos que são bem compreendidos, principalmente, por quem trabalha na área.
Logo, você já ouviu falar na AWS (Amazon Web Services) e nos produtos e serviços oferecidos pela AWS, como o Well-Architected? Caso não, continue a leitura e vamos solucionar este problema agora!
Um dos maiores e melhores serviços em nuvem (cloud) do planeta
A AWS é conhecida mundialmente, pois é a maior empresa de computação em nuvem do mundo possuindo uma oferta de mais de 165 produtos e serviços.
Entre os serviços oferecidos pela AWS, destacam-se: o Storage, Banco de Dados, Computação, Servidores, Machine Learning etc. E em relação a infraestrutura, destacam-se a IaaS, Amazon S3, AWS EC2 e Lambda.
No que se refere a plataforma (PaaS) elencamos ainda, Elastic Beanstalk e Dynamodb, além de diversos softwares (SaaS) que se encontram disponíveis à venda na própria AWS.
Essa gama de produtos e serviços cresce a cada ano, dando muitas opções de soluções para o cliente. Porém, às vezes, o ambiente oferecido não é utilizado da forma mais adequada, e isso pode impactar em questões de segurança, desempenho, custo, infraestrutura, atendimento ao cliente entre outros.
Diante disso, a AWS resolveu ajudar os seus clientes a utilizarem da forma mais eficiente a plataforma, por meio de práticas mais adequadas que estão disponíveis a partir das premissas do Well-Architected.
Afinal, do que se trata o Well-Architected?
Para ajudar seus clientes a utilizar da melhor forma possível todos os serviços oferecidos, a AWS fixou seis áreas que foram definidas como os pilares do Well-Architected, que são: Excelência Operacional, Segurança, Confiabilidade, Otimização de Custos, Eficiência e Performance, e Sustentabilidade.
A seguir, apresentamos os seis pilares que dão a base para a Well-Architected:
Excelência Operacional
Esse importante pilar, concentra-se na execução e monitoramento de sistemas e na melhoria contínua de processos e procedimentos.
Os principais tópicos incluem automação de alterações, reação a eventos e definição de padrões para gerenciar as operações diárias.
Segurança
Destaca-se na proteção de informações e sistemas. Os principais tópicos incluem confidencialidade e integridade de dados, gerenciamento de permissões de usuário e estabelecimento de controles para detectar eventos de segurança.
Confiabilidade
Aplica-se nos workloads que executam as funções pretendidas e na recuperação rápida de falhas em atender demandas.
Os principais tópicos desse pilar incluem: projeto de sistemas distribuídos, planejamento de recuperação e requisitos de adaptação a mudanças.
Eficiência de Performance
Concentra-se na alocação estruturada e simplificada de recursos de TI e computação. Os principais tópicos incluem seleção dos tipos e tamanhos certos dos recursos otimizados para os requisitos de workload, monitoramento de performance e manutenção da eficiência à medida que as necessidades comerciais evoluem.
Otimização de Custos
Destaca-se em evitar custos desnecessários. Os principais tópicos incluem: compreensão dos gastos ao longo do tempo e controle da alocação de fundos, seleção do tipo e quantidade certa de recursos e dimensionamento para atender às necessidades de negócios sem gastos excessivos.
Sustentabilidade
Esse pilar concentra-se em minimizar os impactos ambientais da execução de workloads em nuvem.
Assim, os principais tópicos incluem: um modelo de responsabilidade compartilhada para a sustentabilidade, compreensão do impacto e maximização da utilização para minimizar os recursos necessários e reduzir os impactos posteriores.
A AWS confia tanto nos pilares propostos, e leva tão a sério esta arquitetura, que oferece um crédito de U$5.000,00 aos clientes que atualizem o ambiente levando em consideração essas seis áreas. Contudo, para ter acesso a esse crédito, é necessário realizar avaliação e reavaliação com um parceiro AWS acreditado para esse procedimento. E a DNX Brasil é acreditada pela AWS para realizar esse serviço.
E para facilitar que as empresas adquiram este ambiente otimizado, assim como, o crédito fornecido pela AWS, a DNX criou um produto chamado de DNX One Foundation, que você poderá conhecer melhor acompanhando as nossas próximas postagens!
Gostou do conteúdo? Siga as nossas publicações para ficar por dentro de tudo o que acontece no ambiente Cloud. Em caso de dúvida, entre em contato com a DNX Brasil, estamos aqui para te ajudar!
Escrito por: Caio Iketani
A DNX Brasil tem as melhores soluções e a experiência que você precisa para impulsionar seu negócio. Entre em contato conosco para obter um plano para sua jornada na nuvem.
06
fev
Magama: Intregação de aplicações com chatbot da Amazon Lex
Sobre a Magama
A Magama é uma startup Chilena com 4 anos de mercado que entrega uma experiência digital inovadora. E isso é possível, pois a Magama faz uso de soluções imersivas incríveis, que transportam seus clientes para o mundo da realidade virtual através de tours virtuais em 3D, destinados tanto para eventos quanto atividades relacionadas à engenharia e arquitetura.
O metaverso também é explorado pela Magama. Nesse caso, ela utiliza a inteligência artificial integrada ao mundo virtual e aliada ao chatbot, que funciona na orientação da navegação do usuário. Além disso, o assistente de voz traz diversas funcionalidades para o usuário.
Conectando o mundo do chatbots a realidade virtual
Nesse projeto específico, a Magama queria adicionar um chatbot nas suas soluções para que os usuários finais tivessem uma experiência ainda mais imersiva e fluida. Essa solução habilitaria o usuário, por exemplo, a tirar as suas dúvidas sobre o espaço virtual de forma automatizada.
A Magama identificou a AWS como o seu provedor principal de tecnologias de cloud. E foi com a DNX Brasil que a Magama descobriu o parceiro ideal para tornar a sua visão uma realidade. Um desafio adicional era a necessidade de troca de tecnologias em decorrência de uma descontinuação. No entanto, junto à Magama, modificamos a solução proposta para atender às novas necessidades.
Do ponto de vista técnico, a Magama precisava conectar a sua solução virtual com uma solução de chatbot, além de outros canais, como os de mensageria, por exemplo. Seria necessária, então, uma integração que permitisse conexões entre vários sistemas e os chatbots. E, além da conexão com o chatbot, as métricas analíticas e de controle de qualidade do atendimento dos chatbots também seriam implantadas.
As soluções: API e o dashboard
A nossa solução foi dividida em duas partes. Inicialmente, havia a necessidade de integração de aplicações com qualquer chatbot da Amazon Lex (no nosso caso Lex v2). Para isso, criamos uma API serverless que intermedeia essa comunicação. Com a tecnologia da Amazon, essa integração suporta comunicação tanto via texto quanto usando a voz do usuário. Além de receber uma voz sintetizada do chatbot para permitir casos de usos mais naturais. Amazon API Gateway e Amazon Lambda foram os serviços principais utilizados, além do próprio Amazon Lex.
A segunda parte da nossa solução foi a criação de um dashboard analítico do Amazon Lex. Nesse momento, foi usado Amazon CloudWatch Logs Insights que consome logs nativos do Amazon Lex e visualiza os resultados em um dashboard.
Toda a solução e sua infraestrutura foram escritas em código (IaC) para a sua fácil replicação, modificação e controle. Com isso, atendemos à necessidade da Magama de poder criar vários dashboards para a variedade de seus clientes.
A interação dentro e fora da realidade virtual
A solução entregue é agnóstica, uma vez que é parametrizável o suficiente para integrar qualquer chatbot do Amazon Lex e visualizar as métricas desejadas. Isso viabiliza a finalidade da Magama, que é disponibilizar inovação com chatbots em vários ambientes, dentro e fora da realidade virtual, além da captura de dados relevantes para visualização no dashboard.
Outro benefício do projeto é que a API pode ser disponibilizada para os seus contratantes diretamente. Ao mesmo tempo, a Magama tem controle do uso das APIs, tendo em vista a importância para o controle do custo por usuário ou aplicação.
E, por último, mas não menos importante, mesmo com o desafio dos ajustes no escopo e na ideação, a Magama foi bem atendida por meio de uma solução que permite que ela cresça e se torne mais escalável.
Sobre a DNX Brasil
A DNX Brasil entrega para seus clientes a melhor experiência em cloud computing. Nossas soluções são fundamentadas na nuvem AWS, como: AWS Well-Architected, contêineres ECS, Kubernetes, integração contínua/entrega contínua, service mesh, big data, analytics e inteligência artificial.
Nosso time de especialistas é composto por profissionais experientes, qualificados e certificados pela AWS, com foco em conceitos cloud-native.
Confira nossos projetos de open-source aqui e siga-nos no LinkedIn.
A eficacia de uma líderança depende do uso de dados para tomar decisões importantes, é preciso ter um olhar amplo com informações assertivas para ter ações significativas, assim é contruida uma estratégia de dados moderna para fornecer insights às pessoas e aplicações que precisam, com segurança e em qualquer escala. A DNX Brasil ajuda sua empresa a aplicar análise de dados em seus casos de uso mais críticos para os negócios com soluções completas que precisam de experiência em dados.
Descubra o valor dos dados
06
fev
Galax Pay: Migração para nuvem garante mega investimento para a empresa
Sobre a Galax Pay
Galax Pay é uma plataforma automatizada de gerenciamento de cobranças de cartão de crédito, boletos e pix. Como uma fintech brasileira, a Galax Pay é integrada às operadoras de cartão de crédito para facilitar o processo de cobranças recorrentes. A plataforma ainda oferece acesso a relatórios completos de dados de vendas, gateway de pagamentos para faturas únicas, relatórios customizáveis, gerenciamento automatizado e outras ferramentas que facilitam a gestão de faturamento.
A empresa entendeu que um dos maiores desafios enfrentados pelos empresários brasileiros é a dificuldade de previsibilidade financeira, o que impede investimentos e melhorias em seus negócios. Assim, o sistema de pagamento financeiro Galax Pay foi criado com o objetivo de acabar com esse problema, oferecendo às empresas segurança no recebimento de seus pagamentos mensais.
Em 2015, a inadimplência crescia a uma taxa alarmante em decorrência de uma crise econômica que atingiu o país. Foi então que Márcio Vinícius, atual CEO da Galax Pay, entendeu que era fundamental aprimorar os processos de cobrança e recebimento das empresas. A Galaxy Pay surgiu em um momento em que nenhuma companhia oferecia serviço de pagamento automático de cartão de crédito a um custo acessível para os clientes.
Sobre o sistema
O principal objetivo do Galax Pay é simplificar o gerenciamento de pagamentos através da automação e facilitar os processos de recebimento de pagamentos únicos e recorrentes. Atuando como um intermediário entre bancos, empresas e clientes, a plataforma Galax Pay possibilita que pagamentos sejam efetuados e recebidos por intermédio de vários métodos – incluindo débito direto autorizado e Pix, plataforma gratuita de pagamentos eletrônicos instantâneos administrada pelo Banco Central do Brasil.
A Galax Pay facilita a comunicação das companhias com seus clientes finais, além de oferecer controle total sobre todos os pagamentos por meio de relatórios. Atualmente, a Galax Pay processa mais de R$45 milhões mensais e atende mais de 2.700 clientes.
O Desafio da Empresa
O crescimento inicial da Galax Pay foi lento em decorrência de restrições em sua infraestrutura que estava hospedada on-premise. Problemas diários que a infraestrutura apresentava demandavam quase todo o foco da equipe, reduzindo o tempo disponibilizado para desenvolver a solução.
O time da Galaxy Pay tinha 27 pessoas, e pelo menos 10 delas tinham envolvimento direto com o lançamento dos processos, monitoramento de ambiente e criação de ambiente de teste e validação. Além disso, outros departamentos da empresa operavam com uma equipe muito enxuta, o que resultou na dificuldade de crescimento – pois quando se tem uma estrutura on-premise, quanto mais desenvolvedores são contratados, mais a estrutura tem que crescer para acomodá-los.
A ausência de implantações automatizadas (CI/CD pipelines) e de estratégias de implantação fizeram com que novas versões da aplicação se tornassem amplamente indisponíveis. O repositório estava sendo utilizado indevidamente – os conceitos dos branches de desenvolvimento do GitLab estavam sendo aplicados incorretamente. Na ausência de containers era necessária uma configuração na máquina do desenvolvedor (por aplicação), o que gerou problemas relacionados à disponibilidade no ambiente final. Isso acabou por envolver diretamente os ambientes criados em uma relação de ambiente de desenvolvimento versus ambiente de teste, levando a uma grande necessidade de ambientes de testes e uma grande quantidade de fusões até que uma versão pudesse ser produzida.
Um pacote gerado manualmente foi disponibilizado no servidor, sem nenhum tapete de integração (CI) ou de disponibilidade (CD) e sem nenhuma estratégia de implantação definida – como por exemplo, uma estratégia de implantação verde azul. Ao mesmo tempo, foi liberada uma versão distribuída a todos os clientes.
A maior parte dos lançamentos causou interrupção no serviço para o cliente final, o que pode custar muito caro para a reputação de uma fintech – há uma diminuição da percepção de eficiência e confiabilidade da empresa. Além disso, o próprio uso de repositórios no GitLab e a estratégia de ambientes non-prod também precisavam ser revistos para que a empresa pudesse gerenciar o controle de qualidade por meio do uso de ambientes de teste e aumentar a velocidade dos lançamentos por meio da automação.
A fintech também precisava estar em conformidade com as normas de PCI DSS no setor de pagamentos para atestar o seu comprometimento com o Padrão de Segurança de Dados da Indústria de Pagamento com Cartão. Embora ter um ambiente seguro seja o primeiro passo para obedecer aos padrões de segurança da indústria, o que realmente conta é a capacidade de se manter continuamente em cumprimento dessas regras.
Foi nesse contexto que a Galax Pay procurou a DNX para assessorar na migração de sua estrutura on-prem para a nuvem, algo que possibilitaria o crescimento que a empresa almejava. Através dessa transformação, a DNX influenciou diretamente na habilidade da Galax Pay de atrair investidores e escalar o seu crescimento comercial agregado ao aumento do investimento – resultando em um investimento da CelCoin.
O Processo
- Fase de Avaliação
Através de briefings executivos, a DNX entendeu e catalogou a infraestrutura existente na Galax Pay. Essa etapa exige muita habilidade e é uma parte crítica na jornada de migração. Contudo, ela permitiu que a equipe da DNX não apenas entendesse as dependências e problemas comuns no ambiente, como também estimasse um Custo Total de Propriedade (TCO), aumentando a visão da Galax Pay sobre o seu próprio negócio. Terminada essa fase, a DNX identificou os recursos e aplicações necessárias para realizar a migração.
A DNX também identificou redundâncias e recursos subutilizados, incluindo base de dados que foram replicadas em vários servidores e máquinas compradas para atender demandas de datas específicas – como por exemplo a Black Friday – e que acabavam sem uso pelo restante do ano. A identificação desses custos adicionais ajudou a Galax Pay a tomar decisões que aumentaram as oportunidades de redução de custos e escala.
O principal resultado dessa fase de avaliação foi a criação de um business case de alto nível que desenhou diversas estratégias para que o time atingisse os objetivos do projeto. A análise do negócio possibilitou que a Galax Pay avaliasse todas as opções disponíveis usando suas prioridades e necessidades como parâmetros, o que, em última instância, contribuiu para decisões mais sólidas para o projeto em questão.
Baseada na avaliação dos processos de interação com os clientes, a melhor solução encontrada foi a migração de as aplicações. Os containers disponibilizam uma forma padrão para o armazenamento de configurações, códigos e dependências das aplicações em um único objeto, compartilhando apenas um sistema operacional instalado no servidor. O uso de containers permite que a equipe faça implantações de forma rápida, confiável e consistente, independentemente do ambiente.
Com a evolução do processo de virtualização, os containers são capazes de redimensionar a aplicação rapidamente por precisarem de pouco tempo de inicialização. Esse método simplifica a automatização do processo de implantação – já que a aplicação fica empacotado e pode ser disponibilizado em diferentes ambientes, como o desenvolvimento, homologação e produção.
A DNX concluiu que esse era o melhor método para acompanhar o desenvolvimento da aplicação, já que uma vez feita a conteinerização, há a garantia de que tudo o que a aplicação necessita para operar está intrinsecamente ligada a ela. A estratégia maior era garantir a máxima disponibilidade para o usuário final.
- Fase de Mobilização
Após a avaliação, iniciou-se o processo de planejamento – o momento em que a DNX começou a desenhar a nova arquitetura e o plano de migração de acordo com as necessidades da Galax Pay. A DNX avaliou as lacunas de tempo de resposta da nuvem e interdependência entre aplicações, descobertas na fase anterior. Além disso, foram avaliadas todas as possíveis estratégias de migração para garantir que a mais adequada fosse selecionada e atualizada no business case. Durante a etapa de Mobilização, a equipe da DNX implantou a Citadel, uma infraestrutura na nuvem arquitetada nos padrões de Well-Architected da AWS, pronta para entrar em conformidade com as normas de órgãos reguladores internacionais como PCI DSS, HIPAA, ISO 27001, CDR. E em seguida trabalhou com o cliente para projetar a plataforma da aplicação.
A solução apresentada à Galax Pay foi a de performar a migração através da modernização da aplicação e da utilização de containers utilizando o Amazon ECS, que é executado utilizando o Fargate. O ECS permite a configuração de métricas como CPU, memória e número de conexões, que auxiliam no escalonamento automático. O Fargate foi escolhido para alcançar a elasticidade e agilidade necessárias para a aplicação Galax Pay, pois permite que dois containers sejam executados ao mesmo tempo sem a necessidade de gerenciar servidores ou clusters de instância EC2.
O Fargate simplifica o processo da Galax Pay ao eliminar a necessidade da escolha de um tipo de servidor e o tempo de dimensionamento e de empacotamento de clusters. Outro motivo pelo qual o Fargate foi a escolha perfeita nesse caso foi o atendimento aos critérios de conformidade de PCI exigidos pelo ambiente. O uso do Fargate significa que a Galax Pay não precisará atualizar continuamente o sistema operacional ou utilizar sistemas de anti-vírus para a manutenção da segurança das máquinas.
Antes de iniciar a terceira e última fase do projeto, a DNX concluiu a configuração da zona de aterrissagem utilizando a fundação segura da Citadel e preparando o terreno para a migração de várias aplicações-piloto.
- Fase de Migração
Após a comprovação do sucesso dos aplicações-piloto, começou a migração do restante dos dados da Galax Pay para o ambiente seguro criado na AWS. Para que a Galax Pay se beneficiasse totalmente de tudo que a AWS tem a oferecer, durante o processo de migração o time da DNX realizou uma modernização. Ao modernizar dados e aplicações com conceitos nativos da nuvem, a Galax Pay se preparou para um futuro de sucesso – em que a eficiência de suas operações é otimizada.
Ao replicar o banco de dados, a DNX garantiu a sincronização ativa de dados – o que possibilita que os mesmos sejam replicados no ambiente operacional, reduzindo o downtime para cutover. Ou seja, ir além de uma simples estratégia de levantamento e deslocamento permitiu que a Galax Pay evitasse trazer os problemas do passado para o futuro da empresa.
A Galax Pay entrou em contato com a DNX Solutions do Brasil à procura de uma migração de on-prem para a nuvem, mas a entrega final superou as expectativas. O cliente buscava uma migração lift-and-shift para a AWS, mas entregamos uma modernização completa de acordo com os padrões de qualidade da AWS. A Galax Pay estava ciente dessa solução, mas imaginava que seria algo para o futuro. No entanto, implementamos essa solução nesse momento, evitando que a Galax Pay tivesse que se envolver em um novo projeto mais adiante.
Com o resultado alcançado, a Galax Pay:
- Aumentou a percepção de disponibilidade e performance da aplicação
- Diminuiu o tempo de resposta para melhorias e correção de bugs (bug fixes) e sua efetiva disponibilização. Isso foi refletido no aumento de sua nota na plataforma de avaliação online Reclame Aqui
- Maior segurança para o cliente ao atender os padrões PCI DSS
A modernização da aplicação foi entregue como parte do projeto de migração, aumentando a agilidade e segurança e permitindo que a Galax Pay atingisse metas projetadas para anos no futuro.
Aumento do Investimento e Crescimento
De 2020 a 2022, A Galax Pay cresceu 420% em receita do ano fiscal. Enquanto isso, o número de clientes aumentou aproximadamente em 150%, indo de 1.116 para 2.784 clientes.
Com os desafios operacionais causados por uma estrutura datada resolvidos pela migração efetuada pela DNX, as estratégias de negócio e promoção ganharam destaque. O resultado atraiu o investimento da CelCoin, que atuou como um catalisador financeiro impulsionando os negócios. A fundação segura e dimensionável entregue pela DNX Brasil garantiu que a Galax Pay estivesse preparada para lidar com aumentos de fluxo repentinos.
Estima-se que o aumento de clientes que a Galax Pay alcançou seria atingido em cinco anos, caso eles tivessem mantido sua infraestrutura on-prem.
Aumento de Entregas
Como uma fintech com uma solução digital sendo alimentada por um canal digital de aplicações, tecnologia é o cerne do negócio. O time da DNX implementou a automação de implantação e compartilhou conhecimento com a Galax Pay em relação ao GitLab e ambientes não produtivos. Isso permite a constante entrega de novas versões da aplicação diariamente.
Tranquilidade
Galax Pay agora opera a partir de uma estrutura segura de nuvem, a Citadel, que oferece tranquilidade operacional e de conformidade por meio de maior resiliência, confiabilidade e segurança.
Maior Desenvolvimento
A substituição da atualização manual pela automação otimizou o uso do tempo da equipe. Com as preocupações com a infraestrutura resolvidas, a equipe de desenvolvimento da Galax Pay agora tem tempo disponível para se concentrar nos objetivos principais da empresa e criar novos recursos para a solução.
A automação também permitiu que a Galax Pay implementasse novos recursos em um ritmo que atendesse aos desejos de seus clientes. O controle de qualidade também foi aprimorado por meio da criação de ambientes de teste e produção, permitindo que novos recursos sejam testados antes de serem liberados para o usuário final.
Antes do envolvimento da DNX, a Galax Pay estava restrita a liberar novas funcionalidades manualmente apenas aos finais de semana. Agora, o time tem a flexibilidade de liberar novas funcionalidades de três a quatro vezes por dia.
Conformidade PCI
O ambiente desenvolvido com a solução Citadel permite que a plataforma Galax Pay atinja a conformidade com PCI rapidamente, por esse ambiente ser compatível com PCI em sua construção. A Galax Pay também utilizou o DNX Managed Services, serviço oferecido pela DNX, para coletar evidências para uma empresa externa de auditoria, que confirmou sua conformidade. Isso garantiu a certificação PCI da empresa.
Uso Contínuo de Serviços Gerenciados
Reconhecendo a eficiência do trabalho da DNX ao longo do projeto, a Galax Pay optou por fazer uso contínuo do DNX Managed Services, que vem agregando valor à empresa há mais de um ano.
Atualmente, a DNX fornece um serviço de extensão SRE para a Galax Pay, onde a DNX é a parceira expert da AWS e DevOps da Galax Pay. Ao estabelercer uma parceria de confiança, a Galax Pay não precisa se lançar no mercado de trabalho em busca de mão-de-obra especializada. Isso garante benefícios ao cliente final da Galax Pay, já que o time pode manter o foco no que faz a aplicação rodar melhor – solucionar bugs, implementar melhorias e adicionar novos recursos que facilitam a vida dos das pessoas e empresas que contam com o serviço da Galax Pay.
Confira nossos projetos de open-source em github.com/DNXLabs e siga-nos no LinkedIn, Twitter e Youtube.
11
nov
Cromai: Treinamento de Deep Learning 15x mais rápido na nuvem
Sobre a Cromai
A Cromai é uma agtech fundada em 2017 com foco em melhorar de forma eficiente a vida do produtor agrícola. E para isso, usa aplicações de tecnologia de fronteira, principalmente, Machine Learning com a visão computacional para identificar de maneira automatizada padrões em imagens coletadas no campo, oferecendo então um diagnóstico que permite uma tomada de decisão mais precisa.
Alinhada à complexidade do campo, a Cromai possibilita que o produtor agrícola atinja seu potencial máximo produtivo utilizando IA de maneira simples e sustentável. É possível utilizar soluções que filtram a impureza vegetal na cana de açúcar a partir de sensores, por exemplo. Para plantas daninhas também é possível identificar o local em que elas nascem e, com isso, direcionar o agricultor para a melhor forma de realizar o manejo necessário.
Esses sistemas processam e analisam fatores que geram resultados para os produtores de todo Brasil. Isso possibilitou um olhar internacional que fez com que a Cromai fosse selecionada pela StartUs Insights como umas das 5 startups mais promissoras no mundo, em visão computacional para agricultura.
Desafios de uma das mais promissoras startups do mundo
O principal desafio era otimizar o tempo de treinamento da Machine Learning, pois a demora para gerar a nova versão era muito grande e impactava diretamente o core do negócio. Trouxemos o treinamento de Machine Learning para cloud AWS, dessa forma foi possível treinar novos diversos modelos, com base em imagens.
Para ter uma dimensão da quantidade de dados para a solução das plantas daninhas, mais de 20 milhões de imagens eram armazenadas no dataset. E esse fator aumentava a necessidade de ter um cluster de treinamento mais robusto. A Cromai utilizava um servidor com uma GPU direcionada ao treinamento de modelos de Deep Learning, e com esta configuração, a realização de experimentos ocorria de maneira demorada, em torno de 3 meses para treinar um modelo.
Os benefícios de treinamento de redes neurais em múltiplas GPUs em paralelo
Entendendo as necessidades da Cromai, o objetivo da nossa solução era a redução do tempo de treinamento sem que isso afetasse, de uma forma significativa, o custo dele e as métricas de performance do modelo. Estávamos confiantes, pois conseguimos entregar um bom resultado, conhecendo as possibilidades do Amazon SageMaker.
Inicialmente, nós tínhamos duas grandes vantagens que contribuíram para o sucesso do projeto. A primeira delas é que na AWS é possível usar instâncias de treinamento muito potentes, equipadas com várias GPUs modernas por instância. Essa alteração tem seus benefícios em termos de pura performance.
Em segundo, é possível distribuir o treinamento em mais de uma instância. Esta tarefa não é algo trivial, já que o treinamento de redes neurais, mesmo sendo distribuído, precisa manter sincronia entre as suas instâncias e GPUs. Para esta tarefa existem frameworks, como SageMaker distributed.
No caso do nosso projeto, devido a uma necessidade técnica, optamos pelo Horovod, framework open-source de treinamento distribuído para algoritmos de deep learning.
O Amazon SageMaker suporta esse framework e a nossa principal tarefa era a adequação do script de treinamento da Cromai para o ambiente do Amazon SageMaker. Utilizamos o S3 como armazenamento de dados de treinamento e, principalmente, adicionamos a camada do Horovod no script de treinamento.
Criamos também uma forma fácil e com transparência de custo para a Cromai escolher a quantidade e o tipo das instâncias de cada treinamento.
Criamos também uma forma fácil e com transparência de custo para a Cromai escolher a quantidade e o tipo das instâncias de cada treinamento.
Redução do tempo de treinamento e o impacto no negócio
Diminuir o tempo de treinamento era fundamental para a escalada dos projetos na Cromai, a demora no tempo do treinamento dos modelos estava afetando diretamente o sucesso do negócio.
Graças ao domínio do nosso time sobre as possibilidades existentes no Amazon SageMaker e a estratégia elaborada, conseguimos de forma efetiva resolver essa dor.
A solução desenvolvida impactou bruscamente o tempo de treinamento que caiu de 3 meses para 6 dias, mantendo todas as métricas de performances existentes. Em caso de necessidade a Cromai tem uma opção de aumentar o investimento no treinamento a fim obter resultados em até 3 dias.
Com a diminuição do tempo a interação ficou mais frequente, isso aumentou a agilidade e o time de tecnologia da Cromai agora passar mais tempo fazendo o que ama: tornar as soluções melhores e mais adequadas à realidade do produtor rural.
Sobre a DNX
Na DNX Brasil trabalhamos para trazer a melhor experiência em Cloud e aplicações para empresas nativas digitais no Brasil.
Atuamos em áreas com foco em AWS, Well-Architected Solutions, Contêineres, ECS, Kubernetes, Integração e Entrega Contínua e Soluções de Mesh e Soluções em Data (plataformas de dados, data lakes, machine learning, analytics e BI).
Confira nossos projetos de open-source em github.com/DNXLabs e siga-nos no LinkedIn, Twitter e Youtube.
Escrito por: Ladislav Vrbsky e Luis Campos / Revisão: Camila Targino
A eficacia de uma líderança depende do uso de dados para tomar decisões importantes, é preciso ter um olhar amplo com informações assertivas para ter ações significativas, assim é contruida uma estratégia de dados moderna para fornecer insights às pessoas e aplicações que precisam, com segurança e em qualquer escala. A DNX Brasil ajuda sua empresa a aplicar análise de dados em seus casos de uso mais críticos para os negócios com soluções completas que precisam de experiência em dados.
Descubra o valor dos dados
11
nov
Saiba o que realmente são as práticas Well-Architected da AWS
Não é de hoje que a computação em nuvem vem revolucionando o mundo. Nesse contexto, com as soluções encontradas, diversas áreas da vida cotidiana estão se transformando.
E no que se refere aos serviços em nuvem (cloud services), há inúmeras possibilidades de uso que podem variar de acordo com os interesses da empresa e/ou startup.
Assim, nesse meio, é comum nos depararmos com os seguintes termos: PaaS, Plataform as a Service, SaaS, Software as a Service, IaaS, Infrastructure as a Service, entre outros. Processos que são bem compreendidos, principalmente, por quem trabalha na área.
Logo, você já ouviu falar na AWS (Amazon Web Services) e nos produtos e serviços oferecidos pela AWS, como o Well-Architected? Caso não, continue a leitura e vamos solucionar este problema agora!
Um dos maiores e melhores serviços em nuvem (cloud) do planeta
A AWS é conhecida mundialmente, pois é a maior empresa de computação em nuvem do mundo possuindo uma oferta de mais de 165 produtos e serviços.
Entre os serviços oferecidos pela AWS, destacam-se: o Storage, Banco de Dados, Computação, Servidores, Machine Learning etc. E em relação a infraestrutura, destacam-se a IaaS, Amazon S3, AWS EC2 e Lambda.
No que se refere a plataforma (PaaS) elencamos ainda, Elastic Beanstalk e Dynamodb, além de diversos softwares (SaaS) que se encontram disponíveis à venda na própria AWS.
Essa gama de produtos e serviços cresce a cada ano, dando muitas opções de soluções para o cliente. Porém, às vezes, o ambiente oferecido não é utilizado da forma mais adequada, e isso pode impactar em questões de segurança, desempenho, custo, infraestrutura, atendimento ao cliente entre outros.
The process of migrating from an on-premise system to the cloud is complex, but when companies hide from the future, they get left behind.
Don’t let your company get stuck in the past, read on to find out what you need to know when considering migration. Our Cloud Migration Checklist will help you craft a well-informed plan to prepare and strategise for your migration to the cloud.
Afinal, do que se trata o Well-Architected?
Para ajudar seus clientes a utilizar da melhor forma possível todos os serviços oferecidos, a AWS fixou seis áreas que foram definidas como os pilares do Well-Architected, que são: Excelência Operacional, Segurança, Confiabilidade, Otimização de Custos, Eficiência e Performance, e Sustentabilidade.
A seguir, apresentamos os seis pilares que dão a base para a Well-Architected:
Excelência Operacional
Esse importante pilar, concentra-se na execução e monitoramento de sistemas e na melhoria contínua de processos e procedimentos.
Os principais tópicos incluem automação de alterações, reação a eventos e definição de padrões para gerenciar as operações diárias.
Segurança
Destaca-se na proteção de informações e sistemas. Os principais tópicos incluem confidencialidade e integridade de dados, gerenciamento de permissões de usuário e estabelecimento de controles para detectar eventos de segurança.
Confiabilidade
Aplica-se nos workloads que executam as funções pretendidas e na recuperação rápida de falhas em atender demandas.
Os principais tópicos desse pilar incluem: projeto de sistemas distribuídos, planejamento de recuperação e requisitos de adaptação a mudanças.
Eficiência de Performance
Concentra-se na alocação estruturada e simplificada de recursos de TI e computação. Os principais tópicos incluem seleção dos tipos e tamanhos certos dos recursos otimizados para os requisitos de workload, monitoramento de performance e manutenção da eficiência à medida que as necessidades comerciais evoluem.
Otimização de Custos
Destaca-se em evitar custos desnecessários. Os principais tópicos incluem: compreensão dos gastos ao longo do tempo e controle da alocação de fundos, seleção do tipo e quantidade certa de recursos e dimensionamento para atender às necessidades de negócios sem gastos excessivos.
Sustentabilidade
Esse pilar concentra-se em minimizar os impactos ambientais da execução de workloads em nuvem.
Assim, os principais tópicos incluem: um modelo de responsabilidade compartilhada para a sustentabilidade, compreensão do impacto e maximização da utilização para minimizar os recursos necessários e reduzir os impactos posteriores.
A AWS confia tanto nos pilares propostos, e leva tão a sério esta arquitetura, que oferece um crédito de U$5.000,00 aos clientes que atualizem o ambiente levando em consideração essas seis áreas. Contudo, para ter acesso a esse crédito, é necessário realizar avaliação e reavaliação com um parceiro AWS acreditado para esse procedimento. E a DNX Brasil é acreditada pela AWS para realizar esse serviço.
E para facilitar que as empresas adquiram este ambiente otimizado, assim como, o crédito fornecido pela AWS, a DNX criou um produto chamado de DNX One Foundation, que você poderá conhecer melhor acompanhando as nossas próximas postagens!
Gostou do conteúdo? Siga as nossas publicações para ficar por dentro de tudo o que acontece no ambiente Cloud. Em caso de dúvida, entre em contato com a DNX Brasil, estamos aqui para te ajudar!
Entre em contato com um especialista da DNX Brasil e reserve uma reunião gratuita de 15 minutos e explore suas possibilidades de Migração para Nuvem
31
ago
AWS, Azure, or GCP: Which cloud provider is right for you?
AWS, Azure, or GCP: Which cloud provider is right for you?
The Big Three
In modern day cloud computing, three major providers hold the top spots: Google Cloud Platform (GCP), Microsoft Azure, and Amazon Web Services (AWS).
While all three platforms look similar on the surface, with features such as self-service, autoscaling and high level security and compliance, the difference is in the details. Each of these providers vary in their computing capabilities, storage technologies, pricing structures and more.
When migrating to the cloud, the key to success is choosing a provider that matches your unique business goals. In this article, we outline the major differences and provide guidance on how to choose the right cloud provider for you.
Computing Power
GCP is less functionally rich than Azure and AWS, though it offers unique advantages including managing and deploying cloud applications, payable only when code is deployed.
Azure uses a network of virtual machines to offer a full variety of computing services, including app deployment, extensions and more.
AWS computing, termed E2C, is highly flexible, powerful and less costly than other services. E2C provides auto scaling to your usage, so you don’t pay more than necessary. AWS offers a sophisticated range of computing features including speed, optimal security, managing security groups, and much more.
Storage Technologies
Whilst GCP’s storage options are reliable, they remain fairly basic, with features including cloud storage and persistent disk storage.
Azure offers many storage cloud types to target various organisational needs, including Data Lake Storage, Queue Storage and Blob Storage. Additionally, File Storage is optimised for most business requirements.
AWS offers a wide range of storage solutions that allow for a high level of versatility. Simple Storage Service is industry standard, while Storage Gateway offers a more comprehensive storage approach.
Network & Location
GCP does not match the reach of Azure or AWS, currently serving 21 regions with aims to grow its number of data centres around the world.
Azure is available in 54 regions worldwide, keeping traffic within the Azure network for a secure networking solution.
AWS runs on a comprehensive global framework around 22 different regions, including 14 data centres and 114 edge locations. This ensures continuous service, reliable performance, speedy cloud deployment and lightning-fast response times.
Pricing Structure
GCP offers multiple pricing options, from free tier to long-term reservations. These prices are affected by many factors including network, storage and serverless pricing.
Azure charges on a per-second basis, allowing users to start and stop the service, paying only for what they use.
AWS provides a convenient pay-as-you-go model, allowing users to pay only for what they consume, without any termination fees.
Conclusion
AWS is the superior cloud provider in the market, reducing time to value for customers and increasing business agility. With significantly more services than the other providers, AWS offers a greater range of features to its users. For these reasons, among others, DNX Solutions works exclusively with AWS, helping our clients take full advantage of all the benefits it provides. Each of our solutions are designed with AWS in mind, allowing us to focus on getting the most out of the cloud for our clients, today and in the future.
How can DNX help you?
Contact us now to learn more about making the most of the many AWS benefits.
As an AWS partner, DNX offers the guidance and expertise for cloud migrations done right. We offer seamless migration to AWS, following best practice architectural solutions while offering modernisation as a part of the process. With a professional team by your side ensuring security, compliance and best practices, your business will get the most out of this powerful cloud provider.
Contact a DNX expert to book a free 15-minute consultation and explore your possibilities for Cloud Migration
20
ago
The basics of Cloud Migration
What is Cloud Migration all about?
The concept of cloud migration is familiar to those who use cloud storage in their personal lives. Simply put, cloud migration is the process of moving information from an on-premise source to a cloud computing environment. You can think of it as moving all your important data and programs from your personal computer to a place where they are automatically backed-up and protected. If your computer were to experience a power failure, have hot coffee spilled over it, or be stolen, you would be able to access all of your data from another computer, and have the ability to update your security functions if a breach had occurred. With greater movement of employees and company expansions, storing data in the cloud facilitates business innovation and security, leading to efficiency and ease of governance, preparing you for the digital future.
On a larger scale, cloud migration for businesses includes the migration of data, applications, information, and other business elements. It may involve moving from a local data centre to the cloud, or from one cloud platform to another.
The key benefit is that, through cloud migration, your business can host applications and data in the most effective IT environment possible with flexible infrastructure and the ability to scale. This enhances the cost savings, performance and security of your business over the long term.
Cloud migration is a transformation that will lead the way forward in years to come.
What are the benefits of migrating to the cloud?
The cloud brings agility and flexibility to your business environment. As we move into the world of digital workspaces, cloud migration allows for enhanced innovation opportunities, alongside faster time to delivery.
Businesses will realise all kinds of benefits, including reduced operating costs, simplified IT, improved scalability, and upgraded performance. Meeting compliance for data privacy laws becomes easier, and automation and AI begin to improve the speed and efficiency of your operations. Cloud migration results in optimisation for nearly every part of your business.
What are the options for Cloud Migration?
There are six main methods used to migrate apps and databases to the cloud.
- Rehosting (“Lift-and-shift”). Through this method, the application is moved to the cloud without any changes made to optimise the application for the new environment. This allows for a fast migration, and businesses may choose to optimise later.
- Replatforming (“Lift-tinker-and-shift”). This involves making a few optimisations rather than strictly migrating a legacy database.
- Re-purchasing. This involves purchasing a new product, either by transferring your software licence to an online server or replacing it entirely using SaaS options.
- Re-architecting/Refactoring. This method involves developing the application using cloud-native features. Although initially more complex, this future-focussed method provides the most opportunity for optimisation.
- Retiring. Applications that are no longer required are retired, achieving cost savings and operational efficiencies.
- Retaining. This is a choice to leave certain applications as they are with the potential to revisit them in the future and decide whether they are worth migrating.
How much does it cost?
Migrating to the cloud requires a comprehensive strategy, taking into account multiple management, technology and resource challenges. This means the cost of migration can vary widely, particularly as goals and requirements differ between organisations. Funding options may be available to your business when migrating to AWS, so considering all your options carefully may factor such opportunities into your decision and have an impact on which methodology you choose to follow.
In recent years, technologies and cloud computing companies have been developed to create ease and efficiency in the migration process, such as cloud migration powerhouse DNX Solutions.
How does DNX help you with Cloud Migration?
DNX identifies your unique business needs to uncover the best pathway for you, making your migration journey simpler, faster, and more cost-effective. With a secure, speedy cloud migration process, DNX sets your business up for success from day one.
Using DNX for Cloud Migration means you migrate the right way — and unlock full value from AWS — through a unique, secure, and automated foundation.
DNX makes it easy to migrate to a Well-Architected, compliant AWS environment. As part of the process, DNX modernises your applications so you can leverage the benefits of cloud-native technologies. This means your business will enjoy more resilience, cost efficiency, scalability, security, and availability from the very beginning.
DNX has the solutions and experience you need. Contact us today for a blueprint of your journey towards data engineering.
06
jun
Bringing cloud native concepts through DevAx to accelerate cloud journey for Big Red Group
DNX Solutions delivered the AWS Developer Acceleration (DevAx) enablement program to Big Red Group (BRG). The program is aimed at increasing the customers’ developer skills for cloud adoption and building developer cloud native fluency across their organisation. A major focus of AWS DevAx is the developer patterns and practices of modernisation and distributed system design, to break down and rearchitect monolithic application architectures.
The DNX team delivered the AWS DevAx enablement as a structured program by running a structured enablement program, working directly with BRG’s development teams for six weeks. A comprehensive curriculum taught through workshops and co-development sessions resulted in the upskilling of BRG’s internal development community.
What is the “Monoliths To Microservices” Program?
The migration from a monolithic architecture to microservices requires both a willingness on the part of the developer and the business as a whole, as well as a thorough understanding of the way in which architectures such as microservices design patterns can be used and the tools that can be utilised in order to deploy them.
The AWS DevAx “Monoliths to Microservices” program aims to increase developers’ knowledge and experience in distributed system design patterns, or to assist developers in gaining more experience in developing on AWS in general. The program takes a theory and patterns-first approach, then introduces the AWS developer tools. It, therefore, targets experienced developers looking to increase their skills, which perfectly reflects the BRG team that undertook the program with DNX Solutions.
Over the 6 weeks that DNX delivered the program, BRG developers started with a Java Springboot Monolith with a large RDBMS backend and methodically broke the monolith into a series of decoupled microservices. The DNX team rehosted the application in AWS, and then refactored the application architecture to utilise application release automation, bounded context based microservices, refactor and rearchitect the databases, implement an event driven system, implement authentication and authorisation systems, and create AI driven services.
Topics like microservices security best practices are covered as a cross-cutting topic across all modules.
- Module 1: Lift & Shift – Migrating The Monolith
- Module 2: Application Release Automation
- Module 3: Create a Microservice
- Module 4: Refactor Your Database
- Module 5: Microservices Decoupled Eventing & Messaging Architectures
- Module 6: Creating an Authenticated Single Page App
- Module 7: Creating Immersive AI Experiences
What is the value of the AWS DevAx program to BRG?
The DevAx enablement contributed to a mindset shift in the BRG Java developers, where they received the knowledge and tools required to alter their way of working from monolithic applications to a microservices-based architecture. This gave them the chance to understand the new technology, the different opportunities it provides and why it is worth adopting. For a company that is dealing with multiple brands all with unique infrastructures and functionalities, merging the data was a mammoth task that required an open-minded and educated developer team. As stated by the BRG Head of Engineering, this complexity is the reason “Devax Academy was extremely important in changing our team’s mindset, encouraging them to get involved with the project”. In addition, the deep understanding and insight into the patterns BRG’s teams need to break the monolithic across different types of architectures at speed will allow developers to reuse those same patterns in the future.
To move from monolith to microservices was a breakthrough for BRG. By moving away from long-running environments and drastically altering the development life cycle, teams can begin doing development with whatever the code repository is, allowing developers to spin up the environments. In addition, the cost of non-production is massively decreased by maintaining production and changing non-production as development is undertaken. In BRG’s case, the new confidence in breaking up and re-architecting monolithic applications that cannot be easily rehosted in the cloud has opened up many more doors, such as making it possible for them to build a secure Infrastructure as a Service (IaaS) that is simple to use and maintain. An additional benefit of microservices is the ability to implement Straight-Through Processing (STP). STP uses automation to increase the speed of financial transactions, which not only simplifies financial processes but its implementation at BRG has also saved them a huge amount in operational expenditure.
Upon completion of the program, the BRG team had gained a thorough foundation of knowledge and insight, meaning they are not only willing but also able, to strive for continual improvement. These benefits are just some of those gained by BRG due to the move from monolith to microservice technology, all of which can be achieved by any business willing to commit to the change.
DNX Solutions values sharing knowledge and is proud to be able to deliver comprehensive programs through the AWS DevAx enablement. For businesses that want to take control of their assets without having to rely on external resources, completing enablement through DevAx is a straightforward and valuable way to increase in-house skills. To see how your business can benefit from this program, contact DNX today.