17
maio
DevOps
20
jul
MyDeal: Projeto de transformação abrangente concluído em metade do tempo
Sobre MyDeal
MyDeal.com.au é um importante marketplace australiano focado em produtos para o lar e estilo de vida. Com mais de 800 vendedores ativos, oferece mais de 5 milhões de produtos em 2.000 categorias. A maioria dos vendedores no MyDeal são empresas australianas.
Fundado em Melbourne por Sean Senvirtne em 2011, o MyDeal se tornou uma empresa listada publicamente na Bolsa de Valores da Austrália (ASX) em outubro de 2020. Sua missão é tornar a vida mais acessível para todos os australianos, oferecendo os melhores preços em uma ampla variedade de produtos, aliados a um incrível atendimento ao cliente para uma experiência de compra perfeita. O MyDeal dedica-se à qualidade dos produtos, à proteção dos interesses dos clientes e ao apoio ao comércio justo. Eles demonstram esse compromisso ao aderir ao Compromisso de Segurança do Produto da ACCC (Comissão Australiana de Concorrência e Consumidores).
O Desafio do Negócio
O MyDeal é uma solução personalizada já hospedada no ambiente da AWS. Para melhorar sua segurança e capacidade de escala, o MyDeal entendeu a necessidade de modernizar sua infraestrutura existente para aumentar a resiliência e a produtividade. Além disso, a modernização garantiria a confiabilidade dos seus dados e ofereceria insights atualizados para tomar as melhores decisões de negócio, avaliar a saúde do sistema e aumentar a produtividade.
Ao optar pela modernização, o MyDeal estava se preparando para o futuro. Isso significa que eles poderiam reduzir o risco de possíveis falhas no sistema que poderiam resultar na incapacidade de operar por um longo período de tempo, garantindo que não percam receita em grandes eventos de vendas e, o mais importante, protegendo sua reputação. A modernização liberaria tempo para a equipe de desenvolvimento existente focar na criação de novos recursos em resposta a uma abordagem contínua de experiência do cliente. Como benefício adicional, a modernização facilita o processo de atrair e reter profissionais mais qualificados para a equipe do MyDeal.
DNX entrega um projeto de transformação de um ano em apenas 6 meses
A equipe do DNX, juntamente com a AWS, realizou uma extensa revisão da infraestrutura e dos objetivos de negócios do MyDeal, resultando em um roteiro claro apresentando fases, custo, cronograma, prioridades e as próximas etapas, permitindo que sua equipe continue usando as melhores práticas da AWS e as técnicas mais recentes para desenvolver aplicações.
O projeto foi dividido em 3 fases:
Na Fase 1, a equipe da DNX construiu uma fundação de plataforma em nuvem well-architected para implantar a plataforma da AWS usando o Citadel Foundation. O novo ambiente utiliza Infrastructure as Code (IaC), Elastic Beanstalk, Elastic Search, Redis, RDS, SQS, OpenSearch, Secrets com Terraform e usa um pipeline de CI/CD.
A DNX construiu todos os ambientes lógicos (produção, staging, dev, etc.), facilitando e tornando amigável para os desenvolvedores da MyDeal criar novos ambientes. O uso de IaC garante que esse ambiente seja igual ao de produção.
Na fase 2, a equipe da DNX criou uma plataforma nativa em nuvem para suportar as aplicações da MyDeal no AWS Elastic Beanstalk com um pipeline de CI/CD.
Na fase 3, a DNX implementou a transformação da aplicação, migrando todas as aplicações em EC2s para o Elastic Beanstalk com um pipeline completo de CI/CD.
odos os deploys são automatizados para garantir que a MyDeal chegue à produção e dê suporte a todas as aplicações: Windows .NET, mensagens, serviços de tarefas, processo de CI/CD, métricas, logs, autoescalonamento e alertas. A DNX criou pipelines que permitem que a equipe da MyDeal implante aplicações no ambiente desejado apenas pressionando um botão. Implantações Blue/Green foram habilitadas para garantir que a equipe possa testar a aplicação antes de ir ao ar. Os diferentes serviços foram separados e alarmes foram implementados para verificar possíveis erros nas aplicações e no banco de dados, bem como o dimensionamento da aplicação.
A DNX entregou todos os componentes-chave para a nova plataforma, permitindo que a equipe da MyDeal faça a transição para um novo ambiente de produção no seu próprio ritmo. A MyDeal utilizou o Managed Services da DNX durante e após a transição para garantir que tudo continuasse funcionando perfeitamente.
AWS Services Used
Resultados
Increased Security
Citadel Foundation é uma plataforma construída com infraestrutura como código e tecnologias de código aberto, projetada com princípios de bem-arquitetura para AWS. Isso significa implementar uma base de identidade sólida, aplicar segurança em todas as camadas, automatizar as melhores práticas de segurança e aumentar a segurança e proteção de dados. Ao usar o Citadel, a DNX economizou o tempo necessário para construir uma infraestrutura segura do zero e conseguiu entregar a solução da MyDeal em um prazo significativamente reduzido.
Melhoria de Desempenho
Ao automatizar o processo existente, a equipe da MyDeal pode se concentrar no desenvolvimento de produtos em vez de provisionamento e gerenciamento de recursos.
Maior Confiabilidade
Ao monitorar o desempenho do sistema da MyDeal, sua equipe pode remediar quaisquer problemas antes que afetem os clientes e implementar processos de recuperação automatizados que contornam ou reparam as falhas.
Aumento da Agilidade
A flexibilidade e agilidade aumentadas proporcionadas pela nuvem incentivam a inovação e o desenvolvimento e implantação acelerados. Isso elimina os processos manuais e o tempo associado ao provisionamento das Melhores Práticas da AWS Well-Architected Framework em infraestrutura local e, em seguida, à implantação dos recursos.
Melhoria na Escalabilidade
O Auto Scaling garante elasticidade com mínimo esforço e aumenta a produtividade da equipe ao eliminar o planejamento manual de capacidade.
Abordagem Única da DNX
A DNX possui as competências AWS Security e DevOps APN e é uma parceira AWS Well-Architected partner. Isso significa que todos os projetos da DNX são entregues com as melhores práticas operacionais e arquitetônicas, mantendo clientes como MyDeal seguros e ajudando-os a avançar rapidamente com o Citadel Foundation.
O projeto foi entregue por profissionais dedicados e experientes das nossas equipes digitais, de dados e de nuvem, utilizando a metodologia ágil com o conceito DevOps.
Na metodologia ágil, o escopo do projeto é planejado e distribuído em sprints de acordo com as prioridades, dependências e valor entregue. A equipe da DNX está constantemente ouvindo e atendendo às solicitações dos clientes à medida que surgem demandas inesperadas e mudanças durante o projeto.
Isso garante uma entrega constante, permitindo que um projeto de um ano seja concluído em apenas seis meses. Além disso, a DNX entrega valor aos clientes desde o início.
O DevOps remove as estruturas organizacionais com o objetivo de reunir diferentes áreas da MyDeal para possibilitar o desenvolvimento ágil. Ele enfatiza a colaboração e a comunicação, exigindo que todas as equipes sejam responsivas e realizem avaliação de riscos.
Durante todo o projeto, a DNX compartilha conhecimento da infraestrutura em construção, conceitos de nuvem e as melhores práticas da AWS e da indústria para a construção de aplicações melhores. Esse compartilhamento de conhecimento capacita o cliente a manter seu novo ambiente de forma segura, confiável e eficiente após a conclusão do projeto.
Próximos Passos
No futuro, a equipe da DNX continuará apoiando a MyDeal em seu caminho para a modernização completa do Windows e dos dados. Será realizada uma detalhada descoberta do Windows, na qual as equipes da DNX e da MyDeal discutirão o estado atual da arquitetura, infraestrutura, processo de lançamento e processo de negócios da MyDeal. O resultado final será um roadmap de modernização, avaliação de carga de trabalho, roadmap de modernização do Windows, arquitetura alvo e plano do projeto de modernização, tudo baseado em decisões informadas.
Além disso, a DNX continuará capacitando e empoderando a equipe da MyDeal por meio de workshops e do programa de capacitação AWS Developer Acceleration (DevAx).
Durante nosso processo de seleção, a DNX Solutions se destacou como a abordagem mais abrangente e adaptada ao nosso negócio. Foi fácil comunicar nossas circunstâncias únicas e vê-las representadas no plano, e a equipe deles foi bastante flexível na abordagem a ser usada. O resultado final nos oferece uma plataforma na qual podemos confiar, que segue as melhores práticas e nos permite expandir à medida que nosso negócio cresce. É um grande alívio para nossa equipe saber que temos esse espaço bem coberto e agora podemos focar em nossos esforços contínuos de desenvolvimento.
02
maio
CreditorWatch Democratises Credit Data
CreditorWatch was founded in 2010 by a small business owner who wanted to create an open source, affordable way for SMBs to access and share credit risk information. Today, CreditorWatch’s subscription-based online platform enables its 55,000+ customers—from sole traders to listed enterprises—to perform credit checks and determine the risk to their businesses. It also offers additional integrated products and services that help customers make responsible, informed credit decisions.
CreditorWatch helps businesses understand who they are trading with and any creditor issues associated with that particular business. They analyse data from 30 different sources, including both private and government sources. Some of their most powerful behaviour data is crowdsourced from their very own customers providing insights into businesses. Ultimately, CreditorWatch customers get access to Australia’s most insightful business credit rating.
The Challenge of Australia’s Largest Commercial Credit Bureau
An expansion phase saw major corporations, including Australia’s Big Four banks, looking to leverage CreditorWatch’s rich dataset and granular analytics capabilities. As a result, CreditorWatch decided to increase its agility and efficiency. With the need to provide a continuously secure and compliant environment, with reduced costs and increased time to market, CreditorWatch engaged with DNX Solutions. DNX was tasked with creating and executing a roadmap for the improvements, targeting cloud-native concepts, and bringing more efficiency to the IT and Operations teams.
Through workshops during the discovery phase, DNX determined CreditorWatch’s business and technical capabilities, such as the interdependencies, storage constraints, release process, and level of security. With the required information at hand, DNX developed a roadmap to meet CreditorWatch’s Technical and Business objectives, using AWS best practices “The 7R’s” (retire, retain, relocate, rehost, repurchase, replatform, and refactor).
A Safe Environment to Meet ISO Standards
To continue delivering a safe platform to their customers and meeting the requirements of ISO and other compliance standards, DNX constructed a new secure AWS environment utilising its DNX.one Foundation.
Rather than undergoing a lengthy and expensive process each time a safe environment needs to be recreated, DNX.one helps customers build secure and scalable container platforms at high-availability and low-cost. This unique marketplace solution designed for AWS with well-architected principles combines years of cloud experience in a platform focused on simplicity, infrastructure-as-code and open sources technologies. In addition, DNX.one provides a consistent approach to implementing designs that will scale CreditorWatch’s application needs over time.
Once CreditorWatch’s environment was secured with the best AWS and industry practices, it was time to move to the modernisation phase.
Instant Cost Reduction of 120K per Year With Data Modernisation
Due to the amount of data received on a daily basis, CreditorWatch’s database increases considerably in size and cost.
The DNX data team worked on the data Engineering by optimising CreditorWatch’s Aurora database and its tools to full capability.
Amazon Aurora is a MySQL and PostgreSQL-compatible relational database built for the cloud that combines the performance and availability of traditional enterprise databases with the simplicity and cost-effectiveness of open source databases.
Amazon Aurora features a distributed, fault-tolerant, self-healing storage system that auto-scales up to 128TB per database instance. It delivers high performance and availability with up to 15 low-latency read replicas, point-in-time recovery, continuous backup to Amazon S3, and replication across three Availability Zones.
Aurora data is stored in the cluster volume, which is a single, virtual volume that uses solid state drives (SSDs). A cluster volume consists of copies of the data across three Availability Zones in a single AWS Region. Because the data is automatically replicated across Availability Zones, customers’ data is highly durable with less possibility of data loss. This replication also ensures that databases are more available during a failover.
The Aurora cluster volume contains all user data, schema objects, and internal metadata, such as the system tables and the binary log. Its volumes automatically grow as the amount of data in the customer’s database increases.
With extensive data knowledge and years of experience with AWS solutions and tools, DNX provided a unique solution to configure Aurora Database leveraging its full capabilities, which resulted in an instant cost reduction of over 90K per year related to instant threshold of data availability.
The DNX team also created an automated archiving process utilising AWS Airflow, which analyses CreditorWatch’s database tables, identifying data which is unused for a period of time. Unused data is then archived with a different type of file storage at a cheaper rate than S3. This process resulted in an additional cost reduction of 30K per year.
The Unique Value DNX brought to the CreditorWatch Project
DNX Solutions utilised its knowledge on DevOps, Cloud, data, and Software Engineering to provide CreditorWatch with a secure environment that continually meets ISO and other compliance standards. The diversity of experience integrated within the DNX team allowed for instant identification of areas for improvement in CreditorWatch’s systems. In addition, DNX assisted CreditorWatch in bringing about a cultural change by transferring its DevOps mindset approach. Not only was the goal of agility and efficiency reached by the close of the project, but significant storage cost reductions were made enabling CreditorWatch to compete to a higher standard and continue to expand.
A eficacia de uma líderança depende do uso de dados para tomar decisões importantes, é preciso ter um olhar amplo com informações assertivas para ter ações significativas, assim é contruida uma estratégia de dados moderna para fornecer insights às pessoas e aplicações que precisam, com segurança e em qualquer escala. A DNX Brasil ajuda sua empresa a aplicar análise de dados em seus casos de uso mais críticos para os negócios com soluções completas que precisam de experiência em dados.
Descubra o valor dos dados
22
out
Waterco: Moving from Heroku to AWS without adding infrastructure operations
About Waterco — Poolware
Established in 1981, Waterco is a global brand reputed for designing and manufacturing filtration and sanitisation systems. Waterco’s products are widely used in swimming pools, spas, aquacultures, and the water purification industry. Their products are used for residential, commercial, and industrial applications across over 40 countries.
One of Waterco’s applications is Poolware, a proprietary software which analyses, calculates, and diagnoses both the chemical interactions and current water conditions.
The Business Challenge
After about two decades operating the Poolware in a desktop format, Waterco was ready to improve its user experience offerings, providing users convenient access to Poolware across multiple smart devices. Instead of purchasing or licensing existing cloud-based solutions, Waterco developed its own independently, uploading it into the cloud in 2018.
From the beginning, Heroku was the go-to solution stemming from their developer experience (DX) and for reducing infrastructure operations overheads. Having used Heroku for a few years, Waterco believes it is necessitous to improve the efficacy of resource-usage, without increasing infrastructural operations, being able to grow more dynamically, remaining light on infrastructure operations, and having more control in the long-run. However, Heroku was limiting Waterco’s ability to achieve it.
DNX Solutions was tasked by Waterco to satisfy and achieve their main business objectives. One key decision was to transition from Heroku to AWS. With AWS, Waterco’s primary goals could be easily achieved with an elastic and cost-effective architecture uploaded to the cloud.
The Solution
Prior to starting the project, DNX’s teams ran a thorough evaluation of Waterco’s requirements, and reviewed their incumbent delivery processes through DNX’s DevOps. This approach provided adequate guidance to the team throughout the DevOps process. The journey entailed building a robust foundation and the standardization and automation of certain processes. This combination of technologies enables DNX solutions to produce applications efficiently and reliably.
The project started by deploying our DNX Well-Architected foundation, also called DNX.One. The platform incorporates a robust and extremely secure cloud environment, is fully automated using Terraform, and handles most of the infrastructure operations leveraging a well-architected AWS implementation, including Docker containers.
The plan for “Application Modernisation” proposes the movement of applications to ECS cluster in EC2 instances for better resource usage, vis-à-vis the operational model in Heroku titled “Dynos”.
Upon deployment of DNX.One, we modernised Poolware’s deployment design by moving it to Docker containers, bringing together both the existing automated tests and database migration scripts to its CI/CD pipeline.
AWS Foundations:
Building a strong and solid foundation for Waterco’s applications was a critical first step prior to modernisation. Using a multi-AZ strategy with ECS nodes running on spot instances, Waterco was able to run a Cluster of Docker Containers across availability zones and EC2 instances, while optimising cost.
Costs savings
Here’s a compute price comparison* of more or less similar instances and the cost per month:
-
AWS: t3.micro (1GiB) — $0.004 per hour ($2.88 per month)
-
Heroku (Dyno): standard-2x (1024MB) ($50.00 per month)
94.24% reduction
-
AWS: c5.2xlarge (16GiB) — $0.1382 per hour ($99.5 per month)
-
Dyno: performance-l (14GB) ($500.00 per month)
80.1% reduction
Application Modernisation
Poolware had previously adopted some of the 12-factor principles. So, we applied additional cloud-native concepts to it during the modernisation phase, focused especially on building, releasing, and running.
With better usage of the AWS resources, the developed application was able to benefit from improved operational excellence in AWS, and increased elasticity in the cloud.
Each environment in AWS was made identical to one another, varying only in EC2 instance types in each environment. Differences include development, QA/Staging and finally production. The same immutable application image was deployed and tested across these environments. By adopting this approach, Waterco has improved its operational resilience, greatly reducing production incidents to zero through its self-healing platform.
CI/CD Pipeline
We used AWS EC2 instances to run complex CI/CD pipelines using spot instances, optimising steps such as database migration and automated tests running in parallel steps via Gitlab. Hundreds of pipelines are triggered daily at minimal operational cost. Moreover, this reduced the number of production incidents while increasing their current test capacity.
Some of the AWS Services provisioned:
- AWS ECS
- AWS Elastic File System (EFS)
- System Manager
- CloudTrail
- Aurora Cluster
- Cloud Watch
- Code Deploy
Conclusion
From conception to its conclusion, the migration project of Heroku to AWS was completed in approximately one month. The new Docker+AWS environment implementation allowed Waterco to achieve twice the performance and efficacy as compared to their previous Heroku environment. Their production quality, and their ability to release more products frequently have increased. Furthermore, developer and QA productivity has improved significantly. Now, Waterco only needs to run half the number of servers, cutting the hosting bill by approximately 25%.
*prices comparison performed in 11/06/2020 sources:
Na DNX Brasil, trabalhamos para entregar a melhor experiência em nuvem e aplicações para empresas nativas digitais. Trabalhamos com foco total em soluções AWS, Well-Architected Solutions, Containers, ECS, Kubernetes, Integração Contínua/Entrega Contínua e Malha de Serviços. Estamos sempre em busca de profissionais experientes em cloud computing para nosso time, focando em conceitos cloud-native. Confira nossos projetos open-souce em https://github.com/DNXLabs e siga-nos no Twitter, Linkedin or YouTube.
Sem spam - apenas novidades, atualizações e informações técnicas.
Tenha informações das últimas previsões e atualizações tecnológicas
