The Challenge
If you don’t know Cpanel, think of it as an all-in-one open-source box. Cpanel is a powerful hosting server with built-in services such as Apache, PHP, Mysql, and Named for DNS. It allows you to create customised hosting packages and host customers over them. Usually, it’s well suited to small customers. The biggest challenge starts when you put more and more load within the same box.
What about a scenario where you don’t have a single hosting package although you have built your solution years ago over Cpanel APIs? These APIs are used to provision email accounts, FTP users, DNS records, and so on.
You would end up with an infrastructure design like this:
All-in Cpanel
Even though you have a big server to handle all the workloads, what happens if the server goes down? And if you have that server hosted in a third-party data center? You would have to raise a ticket and wait for their answer. Meaning a big downtime ahead.
The Solution
Since decoupling services and applications into micro-services is a complex and long process, the fastest solution was to lift and shift the server to a similar Cpanel server on an EC2 instance.
That choice gave time to the developer teamwork on the overwhelming applications while allowing some standard applications to be pushed to the Cloud.
Previously, all the PHP Laravel APIs running on that box were modernised to docker images and deployed on ECS.
Check it out our open-source terraform ECS cluster module:
And our module to deploy ECS applications such as PHP Laravel:
If you want to find out more about application modernisation for PHP, Node, Ruby, etc, check out our website:
Phase 1 – Decoupling the most overwhelming Cpanel services
DNS to Route 53:
Dumping all Route 53 records from a Cpanel server is a pain in the neck. Why’s that? Because Cpanel usually creates a lot of ‘useless’ records if you’re creating a single domain or subdomain.
We managed to have all the DNS records and values and we’ve created all of them on Route 53.
There is no simple way to dump the DNS records on Cpanel. Be aware of that.
It is always DNS
Mysql to RDS:
The databases on Cpanel are created with a strange prefix to avoid duplication. We’ve got a dump of all databases, and using the python script below, we ran a 40 or so parallel syncs to restore all databases:
https://github.com/DNXLabs/tools-box/blob/master/scripts/parallel-script/parallel_db_restore.py
Phase 1 final design:
Now we have a server running on AWS and at least some ways to handle the forthcoming problems.
Right now, the solution is not yet finalised, so stay tuned for our next posts where we will update you with the next stages of this migration.
To Be Continued…
Na DNX Brasil, rabalhamos para trazer uma melhor experiência em nuvem e aplicações para empresas nativas digitais. Trabalhamos com foco em AWS, Well-Architected Solutions, Containers, ECS, Kubernetes, Integração Contínua/Entrega Contínua e Malha de Serviços. Estamos sempre em busca de profissionais experiêntes em cloud computing para nosso time, focando em conceitos cloud-native. Confira nossos projetos open-souce em https://github.com/DNXLabs e siga-nos no Twitter, Linkedin or YouTube.
Sem spam - apenas novidades, atualizações e informações técnicas.
Tenha informações das últimas previsões e atualizações tecnológicas
Related Posts
16
mar
Os benefícios de segurança que AWS pode prover para uma startup do setor de insurtech
Os benefícios de segurança que AWS pode prover para uma startup do setor de insurtech
No setor de insurtech, a AWS (Amazon Web Services) pode apresentar diversos benefícios de segurança por meio de suas soluções em nuvem. As startups desse setor, que estão lidando com informações confidenciais dos clientes, precisam garantir que seus dados estejam seguros e protegidos contra ameaças externas. A presença da AWS nesse processo pode ser bastante valiosa.
A seguir, descrevemos alguns dos principais benefícios de segurança que a AWS pode fornecer para uma startup do setor de insurtech:
Proteção contra ataques DDoS
A AWS oferece uma proteção contra ataques DDoS (Distributed Denial of Service), que é uma das ameaças mais comuns enfrentadas pelas empresas de tecnologia. Esses ataques podem interromper o serviço ou site da empresa, tornando-o inacessível para os clientes. Com a proteção da AWS, essas startups têm à disposição uma camada extra de segurança na sua infraestrutura de rede.
Armazenamento de dados em nuvem
A AWS oferece uma solução de armazenamento em nuvem segura e escalável. Isso significa que as startups de insurtech podem armazenar seus dados confidenciais na nuvem da AWS, que é protegida por diversos recursos de segurança, como criptografia de ponta a ponta e certificações de segurança. Além disso, a capacidade de escalar rapidamente os recursos necessários para atender a demanda também é um grande benefício.
Controle de acesso abrangente
Por meio da AWS, as startups de insurtech têm um controle de acesso muito mais amplo e detalhado do que outros provedores cloud. É possível definir o acesso de usuários, grupos de usuários, regras de acesso e permissões de maneira personalizada para cada usuário. Isso ajuda a minimizar o risco de ter um acesso indevido aos dados armazenados.
Monitoramento constante
A AWS oferece ferramentas de monitoramento de dados que alertam sobre possíveis problemas ou atividades suspeitas na rede. Por exemplo, é possível configurar alertas para detectar tentativas de intrusão, sinais de malware ou picos de tráfego incomum. Dessa forma, os profissionais de segurança da informação podem investigar o problema antes que ele se torne mais grave.
Backup automático e recuperação de desastres
O backup automático e a recuperação de desastres são recursos padrão da AWS. São medidas importantes para garantir que, em caso de falhas no sistema ou incidentes como cortes de energia elétrica, os dados da empresa não sejam perdidos. Essas funções garantem que os dados foram copiados e armazenados em locais seguros, proporcionando tranquilidade e segurança para a startup.
Em resumo, a AWS pode oferecer diversos benefícios de segurança para startups do setor de insurtech, como proteção contra ataques DDoS, armazenamento de dados seguro, controle de acesso abrangente, monitoramento constante, backup automático e recuperação de desastres. Todas essas medidas ajudam a assegurar que os dados da empresa permaneçam seguros e em bom estado, enquanto a equipe pode se concentrar na construção e crescimento do negócio em si.
A DNX Brasil, como um parceiro avançado da AWS, oferece soluções especializadas em nuvem AWS. Nossa equipe é composta por especialistas experientes e qualificados que podem implementar e monitorar seu ambiente em nuvem com segurança e confiabilidade. Se ocorrerem incidentes de segurança, podemos responder imediatamente, eliminando a necessidade de contratar uma equipe própria. Entre em contato conosco.
A DNX Brasil tem as melhores soluções e a experiência que você precisa para impulsionar seu negócio. Entre em contato conosco para obter um plano para sua jornada na nuvem.
10
fev
Os conceitos básicos de migração para a nuvem
O que é a migração para nuvem?
O conceito de migração em nuvem é bem difundido principalmente por pessoas que usam o armazenamento em nuvem no seu dia-a-dia. Então o que há de novidade sobre este assunto?
De maneira simples, a migração em nuvem é o processo de mover uma informação de uma fonte local para um ambiente de computação em nuvem.
Você já deve estar pensando na possibilidade de mover todos os seus dados e programas importantes do seu computador para um local onde eles são, automaticamente, copiados e protegidos. Se por acaso acontecer algum tipo de acidente com seu computador ou até mesmo se ele for roubado, mesmo assim você ainda teria acesso aos seus dados a partir de outro computador, e seria capaz de atualizar as funções de segurança, caso tenha ocorrido uma violação.
Com uma maior movimentação de funcionários e expansão da empresa, armazenar dados na nuvem facilita a segurança e inovação nos negócios, conduzindo para uma boa governança e eficiência, e prepara você para o futuro digital.
Em grande escala, a migração em nuvem para empresas inclui a migração de dados, aplicações, informações e outros elementos do negócio. Além disso, pode envolver a mudança de um data center local para a nuvem ou de uma plataforma de nuvem para outra.
O principal benefício é que, por meio da migração em nuvem, sua empresa pode hospedar aplicativos e dados no ambiente de TI da maneira mais eficaz possível, com uma infraestrutura flexível e com capacidade para escalar. Isso aumenta a economia de custos, o desempenho e a segurança do seu negócio a longo prazo.
A migração em nuvem é uma transformação que com certeza vai liderar os próximos passos pensando no futuro da sua empresa.
Quais são os benefícios de migrar para a nuvem?
A nuvem traz agilidade e flexibilidade ao seu ambiente de negócios. À medida que avançamos para o mundo de workspaces digitais, a migração para a nuvem volta-se para oportunidades de inovação mais aprimoradas, além do tempo de entrega ser mais rápido.
Com isso, as empresas vão obter todos os tipos de benefícios, incluindo a redução dos custos operacionais, TI simplificada, escalabilidade aprimorada e desempenho atualizado.
Estar em conformidade com as leis de privacidade de dados fica muito mais fácil, e a automação e a IA começam a melhorar a velocidade e a eficiência de suas operações. A migração para a nuvem tem como um dos principais resultados a otimização para quase todas as partes do seu negócio.
Quais são as opções para a migração em nuvem?
Existem seis métodos principais usados para migrar aplicações e bancos de dados para a nuvem. Vamos vê-los a seguir:
- Rehosting (“Lift-and-shift”). Por meio desse método, a aplicação é movida para a nuvem sem que nenhuma alteração seja feita para otimizar a aplicação para o novo ambiente. Permitindo uma migração mais rápida, e as empresas podem optar por realizar otimizações mais tarde.
- Replatforming (“Lift-tinker-and-shift”). Isso envolve fazer algumas otimizações em vez de migrar estritamente um banco de dados legado.
- Re-purchasing. Por meio dessa ação, é possível a compra de um novo produto, seja transferindo sua licença de software para um servidor online ou substituindo-o inteiramente usando opções de SaaS.
- Re-architecting/Refactoring. Esse método envolve o desenvolvimento de aplicações usando recursos nativos da nuvem. Embora, inicialmente, seja mais complexo, esse método, quando focado no futuro, oferece uma maior oportunidade de otimização.
- Retiring. Nesse caso, as aplicações que não são mais necessárias são aposentadas, obtendo assim, economia de custos e eficiência operacional.
- Retaining. Essa é uma opção para deixar certas aplicações como estão, com o potencial de revisitá-los no futuro e decidir se vale a pena migrar.
Quanto custa?
A migração para a nuvem requer uma estratégia abrangente, levando em consideração os vários desafios que envolvem, como o gerenciamento, as tecnologias e os recursos. Assim, o custo da migração pode variar muito, principalmente, porque os objetivos e requisitos são diferentes entre as organizações.
As opções de financiamento podem estar disponíveis para sua empresa ao migrar para a AWS. Dessa forma, considerar cuidadosamente todas as suas opções, incluindo as oportunidades, pode impactar a sua decisão e as metodologias que você escolher seguir.
Nos últimos anos, tecnologias e empresas de computação em nuvem foram desenvolvidas para criar facilidade e eficiência no processo de migração. Este é o caso da DNX.
Como a DNX pode te ajudar com a migração para a nuvem?
A DNX identifica as necessidades do seu negócio e traça o melhor caminho, tornando sua jornada de migração mais simples, rápida e econômica.
Com um processo de migração para a nuvem seguro e rápido, desde o primeiro dia, preparamos sua empresa para o sucesso.
Usar a expertise da DNX para Migração em Nuvem significa migrar da maneira certa — e ter todos os benefícios da AWS — por meio de uma base exclusiva, segura e automatizada.
A DNX facilita a migração para um ambiente AWS Well-Architected e compatível. Como parte do processo, modernizamos suas aplicações para que você possa aproveitar os benefícios das tecnologias nativas da nuvem. Isso significa que desde o início, a sua empresa vai desfrutar de mais resiliência, eficiência de custos, escalabilidade, segurança e disponibilidade.
A DNX Brasil tem as melhores soluções e a experiência que você precisa para impulsionar seu negócio. Entre em contato conosco para obter um plano para sua jornada na nuvem.
06
fev
DNX Solutions ganha dois prêmios de parceiro do ano da AWS
Os prêmios APN Partner são concedidos pela AWS todos os anos para reconhecer a excelência do partner na AWS Partner Network (APN). Em novembro de 2022, a DNX Solutions teve o orgulho de ser nomeada Parceira do Ano em duas categorias, recebendo os prêmios na conferência AWS re:Invent em Las Vegas.
Recebemos as maiores honras da AWS ao sermos nomeados Global Social Impact Partner of the Year e APJ (Asia Pacific and Japan) Industry Partner of the Year, cuja combinação é um reflexo perfeito do que buscamos como empresa.
O prêmio Social Impact reconhece os parceiros da AWS que estão comprometidos em retribuir à sociedade e mudar o mundo para melhor. Na DNX, entendemos o poder que a tecnologia tem para melhorar a vida das pessoas ao nosso redor e nos dedicamos a fornecer soluções inovadoras para organizações que fazem a diferença. Uma dessas organizações solicitou a assistência da DNX Solutions durante o desenvolvimento de um aplicativo inteligente da MedTech quando começaram a ter dificuldades com armazenamento, criptografia e transmissão do firmware do processador de som.
A DNX forneceu todo o código de back-end e infraestrutura necessários, permitindo que as atualizações remotas de firmware do dispositivo fossem executadas por meio da AWS cloud, construídas em um pipeline automatizado e compatível. Isso não apenas reduziu o tempo de atualização de vários dias para apenas 5 minutos, mas também evitou que os destinatários tivessem que viajar para uma clínica física, o que significa que eles poderiam se manter seguros durante os lockdows do Covid-19 na Austrália. Além disso, a modernização levou os recursos de teste aprimorados, reduzindo o tempo de implantação de 5 horas para 30 minutos. No geral, como resultado do trabalho da DNX, o go-to-market da MedTech foi drasticamente reduzido de 3 meses para 5 dias, e milhares de pessoas receberam o suporte e atendimento de que precisavam, sem ter que esperar.
O prêmio Industry Partner of the Year vai para os parceiros da AWS que demonstram profundo conhecimento do setor e resolvem com sucesso os pontos problemáticos específicos do setor. Nos últimos anos, a equipe da DNX Solutions tem se concentrado em setores regulados, como MedTech e FinTech, entre outros. Essas indústrias geralmente exigem que as empresas cumpram regulamentações rigorosas para continuar operando, e essas regulamentações diferem não apenas entre indústrias, mas também entre regiões.
A DNX Solutions foi fundada em 2019 por Helder Klemp (CEO) e Allan Denot (CTO) com a missão de democratizar o acesso à cloud. E em janeiro de 2021 abriu sua branch no Brasil, tendo a frente Emanuel Estumano como CEO (Brazil).
Como uma empresa especializada em cloud e parceira de consultoria avançada da AWS, temos orgulho de oferecer soluções avançadas de nível empresarial para startups, scale-ups e SMBs na Austrália e no mundo. Em menos de quatro anos, nossa equipe alcançou resultados surpreendentes, incluindo 2 competências da AWS e mais de 100 certificações da AWS em nossa equipe, 4 programas de parceiros, 2 validações de serviços da AWS e mais de 100 lançamentos de clientes. Ser nomeado Parceiro do Ano da APJ e Parceiro de Impacto Social Global do Ano são duas conquistas adicionais que demonstram a experiência e a paixão que nos motivam todos os dias.
A DNX Solutions é composta por uma equipe qualificada e experiente de consultores de nuvem e engenharia de dados com uma gama de soluções de alta qualidade disponíveis. Nosso objetivo é continuar injetando valor nas organizações de nossos clientes, ajudando-os a aproveitar tudo o que a nuvem AWS tem a oferecer.
A DNX Brasil tem as melhores soluções e a experiência que você precisa para impulsionar seu negócio. Entre em contato conosco para obter um plano para sua jornada na nuvem.
06
fev
Saiba mais sobre os benefícios do Managed Services para a sua empresa
A tecnologia está se aprimorando cada vez mais rápido e, com isso, inúmeras mudanças ocorrem diariamente em nosso cotidiano. Há também uma grande variedade de produtos e serviços acompanhando uma demanda crescente por profissionais da área de Tecnologia da Informação.
Nesse contexto, quando analisamos o cenário atual dos serviços em Cloud, percebemos que a situação não está tão diferente. Por ser ainda, uma área de trabalho relativamente recente, os profissionais atuantes são raros no mercado e quando encontrados, demandam um alto pagamento.
Por isso, pensando em resolver e atender melhor esta dificuldade, a DNX criou o Managed Services. Assim, é possível encontrar e contratar profissionais extremamente qualificados em Cloud AWS.
Entenda como funciona o Managed Services disponibilizado pela DNX Brasil
Inicialmente, precisamos saber que a DNX Brasil é uma empresa cloud-native, isto é, focada na entrega de soluções altamente especializadas através de uma cultura de DevOps. Além disso, segue os princípios e valores da Well-Architected e é parceira Advanced da AWS.
Dessa forma, a DNX Brasil trabalha oferecendo o Managed Services através de pacotes de horas. Assim, geralmente, são contratados os pacotes nas modalidades de 40 horas, 80 horas ou 120 horas mensais.
O prazo mínimo de contrato é de 6 meses, momento no qual, o cliente realiza a contratação, de acordo com a sua perspectiva de necessidade. Pode ocorrer também um ajuste posterior. E se houver alguma situação que ultrapasse o pacote de horas previamente contratado, negociamos uma diferença por horas extras utilizadas.
Serviço sob medida, pague pelo que usar!
Assim, resumidamente, visto de uma forma mais administrativa e financeira, o Managed Services é um serviço de profissionais altamente qualificados, onde você paga pelo que for consumido.
Nesse aspecto, a empresa contratante evita arcar com os custos referentes à legislação trabalhista, como o 13º salário, férias, indenização, em caso de demissão sem justa causa, multa do FGTS etc. Bem como problemas comuns em equipes de TI como o Turnover e capacitação.
Dessa forma, entre os serviços realizados dentro do Managed Services encontram-se diversos tipos de trabalhos que podem ser iniciados a partir de uma demanda específica ou proativamente. Sempre alinhado às identificações de melhorias pela própria equipe da DNX.
Vantagens de optar pelo Managed Services
A DNX Brasil compreende que as interações estão se tornando cada vez mais rápidas, principalmente, quando o assunto envolve o mercado. Nesse caso, é comum também que empresas e startups não tenham tempo disponível ou a expertise necessária para lidar com a infraestrutura e os mais de 165 serviços e produtos oferecidos pela AWS.
Por esse motivo, nossos técnicos atuam de forma proativa a fim de propor e alcançar melhorias para o ambiente. Entre algumas atividades exercidas e realizadas pela nossa equipe, destacam-se:
- Checklists operacionais
- Análise de logs e alertas (Health Check de ambiente)
- Relatórios Mensais de Incidentes, Performance, Segurança e Custo
- Melhoria cabíveis e contínuas do ambiente (do ponto de vista do técnico)
- Controle e análise de billing
Outra atividade também exercida pela nossa equipe é a identificação de oportunidades de melhorias do ambiente AWS, como PoC (Provas de Conceito), WAFR (Well-Architecture Framework Review), Modernization, entre outras. Nesse contexto, algumas desses trabalhos podem gerar créditos* para o cliente, podendo ser utilizado de diversas formas, inclusive na fatura.
Possibilidade de trabalho sob demanda!
Nesse caso, vamos tratar de outro serviço, que é muito comum, e prestado através do Managed Services. Eles são os trabalhos efetuados sob demanda, que podem incluir projetos específicos, execução de determinada tarefa no ambiente AWS solicitada pelo cliente, entre muitas outras.
Logo a seguir, nós temos uma lista com um exemplo de outras atividades sob demanda:
- Gestão de incidentes (suporte)
- Atuação diferenciada conforme a gravidade
- Relatórios de solicitados pelo Cliente
- Gestão de backlog (melhorias e mudanças):
- Evolução do monitoramento com Grafana/Prometheus e Dashboards Customizados
- Automação em geral
- Projetos e Consultorias em geral
- Backlog de DevOps
Conheça os canais de comunicação do Managed Services
Como canal de comunicação do Managed Services, utilizamos diversas ferramentas para a abertura, acompanhamento e alinhamento das solicitações. Entre as quais, destacamos:
- Wrike – Com essa ferramenta é possível abrir e acompanhar os chamados abertos, bem como visualizar as horas utilizadas.
- Slack – É bastante utilizada para o alinhamento das atividades solicitadas pelos clientes e realizadas pela DNX Brasil.
- E-mail – É utilizado para envio de documentação e informações, sobretudo, quando se refere a detalhes administrativos e burocráticos.
Ao longo dessa leitura, você já percebeu que, se a sua empresa está passando por algum tipo de dificuldade em ambientes de Cloud e AWS, a DNX Brasil ´e a escolha certa para te ajudar.
Além disso, a DNX Brasil conta com profissionais altamente qualificados. Assim, se você deseja receber algum tipo de suporte para sua equipe de DevOps, entre em contato com a gente e peça por informações sobre o plano de horas oferecido no Managed Services.
Se além de profissionais especializados em AWS, sua empresa possui necessidade e interesse em um NoC com monitoramento 24/7 do seu ambiente, o Grupo Vibe Tecnologia possui esse serviço prestado pela Master uma das empresas do Grupo.
*A AWS possui também diversos programas de incentivo que oferecem créditos para o uso de seus produtos. Que pode ser para começar a utilizar o Migration, melhoria de ambiente como o WAFR e até um programa especial para as Startups chamado de AWS Activate.
Escrito por: Caio Iketani
A DNX Brasil tem as melhores soluções e a experiência que você precisa para impulsionar seu negócio. Entre em contato conosco para obter um plano para sua jornada na nuvem.
06
fev
One Foundation da DNX Brasil: melhore o desempenho de sua empresa
Em um mundo cada vez mais conectado e interligado, é essencial que as empresas demonstrem segurança, confiabilidade e estabilidade em suas operações para os clientes/usuários.
E com os avanços e serviços oferecidos pela tecnologia em cloud (nuvem), diversas empresas (de médio e grande porte) e startups estão migrando de seu ambiente local on-premise para um ambiente em cloud. Nesse caso, isso pode ocorrer de forma total ou híbrida.
Nesse contexto, onde se destacam grandes avanços tecnológicos, a Amazon Web Services (AWS) é uma das principais e mais abrangentes plataformas de cloud do mundo.
E a DNX Brasil, por ser um parceiro Advanced da AWS, oferece diversas soluções e benefícios que unem a qualidade e a excelência profissional em tecnologia em cloud.
Por isso, vamos conhecer agora a ferramenta One Foundation e como ela pode ajudar a sua empresa a escalar ainda mais. E aplicar o que há de mais atual na tecnologia em cloud.
A DNX Brasil é parceira Advanced da AWS
nicialmente, a DNX Brasil é uma empresa focada em cloud nativa, e é também certificada como Advanced Partner da AWS. Nós trabalhamos com um time técnico de engenheiros e arquitetos altamente capacitados. Logo, eles estão prontos para trazerem soluções eficientes em cloud para melhorar a organização de sua empresa/startup.
Ferramenta One Foundation da DNX
E, a fim de remediar um ambiente não otimizado para os recursos e soluções da AWS, a DNX criou um produto chamado One Foundation. Com essa ferramenta, somos capazes de melhorar o ambiente do cliente aplicando as melhores práticas do Well Architected.
Dessa forma, estamos aptos para ajudar as organizações a criarem ambientes com as melhores práticas baseadas nos seis pilares de uma estrutura Well-Architected.
Assim, nós da DNX One Foundation ajudaremos você a entender os prós e os contras das soluções, produtos e serviços oferecidos pela AWS. Nesse caso, ao criar sistemas em plataformas em cloud, podemos facilitar as decisões que você precisa tomar em prol da empresa/startup.
Para isso, ao usar o Well-Architected, as melhores práticas de arquitetura estarão ao seu alcance para projetar e operar sistemas confiáveis, seguros, eficientes e econômicos com o uso da tecnologia em cloud.
Como funciona a One Foundation?
Assim, por ser um parceiro da AWS do programa APN (Amazon Partner Network), a DNX Brasil possui arquitetos certificados. Eles analisam, criteriosamente, o ambiente do cliente para identificar os problemas e as soluções possíveis. Com o fim de produzir um plano de remediação e roadmap com soluções para curto, médio e longo prazo.
Logo, quando você contrata os serviços da DNX Brasil, inicialmente, fazemos um levantamento do estado atual do ambiente em questão. Nesse momento, consideramos os riscos que o ambiente atual pode conter e trabalhamos para tornar um ambiente que leve em conta as melhores práticas do Well-Architeced.
O levantamento feito pela DNX Brasil será valioso para a finalização do projeto, sendo fundamental para o recebimento de crédito do cliente.
Aplicação dos seis pilares da Well-Architected
Durante a execução do projeto, nossos técnicos atuarão levando em conta os seis pilares definidos pela AWS: segurança, confiabilidade, eficiência e performance, excelência operacional, otimização de custos e sustentabilidade. Com o objetivo de que o projeto esteja em conformidade com o que é considerado um ambiente Well-Architected.
No final do projeto, emitimos um relatório do ambiente, descrevendo os objetivos alcançados em comparação ao ambiente inicial, e apontamos o que foi melhorado.
Desse modo, com base no relatório que é enviado para a AWS, o ambiente passará por uma vistoria, com o propósito de identificar se foi solucionado o mínimo de 45% dos riscos levantados na fase inicial da avaliação.
Em caso positivo, a AWS disponibiliza um voucher no valor de U$ 5.000,00 em créditos, podendo ser usado de diferentes formas na conta do cliente.
Não perca mais tempo, se você possui uma conta na AWS e está interessado em ter um ambiente em conformidade com os seis pilares do Well Architected, entre em contato com a DNX Brasil para saber mais sobre a One Foundation, e como podemos te ajudar!
Escrito por: Caio Iketani
A DNX Brasil tem as melhores soluções e a experiência que você precisa para impulsionar seu negócio. Entre em contato conosco para obter um plano para sua jornada na nuvem.
06
fev
Saiba o que realmente são as práticas Well-Architected da AWS
Não é de hoje que a computação em nuvem vem revolucionando o mundo. Nesse contexto, com as soluções encontradas, diversas áreas da vida cotidiana estão se transformando.
E no que se refere aos serviços em nuvem (cloud services), há inúmeras possibilidades de uso que podem variar de acordo com os interesses da empresa e/ou startup.
Assim, nesse meio, é comum nos depararmos com os seguintes termos: PaaS, Plataform as a Service, SaaS, Software as a Service, IaaS, Infrastructure as a Service, entre outros. Processos que são bem compreendidos, principalmente, por quem trabalha na área.
Logo, você já ouviu falar na AWS (Amazon Web Services) e nos produtos e serviços oferecidos pela AWS, como o Well-Architected? Caso não, continue a leitura e vamos solucionar este problema agora!
Um dos maiores e melhores serviços em nuvem (cloud) do planeta
A AWS é conhecida mundialmente, pois é a maior empresa de computação em nuvem do mundo possuindo uma oferta de mais de 165 produtos e serviços.
Entre os serviços oferecidos pela AWS, destacam-se: o Storage, Banco de Dados, Computação, Servidores, Machine Learning etc. E em relação a infraestrutura, destacam-se a IaaS, Amazon S3, AWS EC2 e Lambda.
No que se refere a plataforma (PaaS) elencamos ainda, Elastic Beanstalk e Dynamodb, além de diversos softwares (SaaS) que se encontram disponíveis à venda na própria AWS.
Essa gama de produtos e serviços cresce a cada ano, dando muitas opções de soluções para o cliente. Porém, às vezes, o ambiente oferecido não é utilizado da forma mais adequada, e isso pode impactar em questões de segurança, desempenho, custo, infraestrutura, atendimento ao cliente entre outros.
Diante disso, a AWS resolveu ajudar os seus clientes a utilizarem da forma mais eficiente a plataforma, por meio de práticas mais adequadas que estão disponíveis a partir das premissas do Well-Architected.
Afinal, do que se trata o Well-Architected?
Para ajudar seus clientes a utilizar da melhor forma possível todos os serviços oferecidos, a AWS fixou seis áreas que foram definidas como os pilares do Well-Architected, que são: Excelência Operacional, Segurança, Confiabilidade, Otimização de Custos, Eficiência e Performance, e Sustentabilidade.
A seguir, apresentamos os seis pilares que dão a base para a Well-Architected:
Excelência Operacional
Esse importante pilar, concentra-se na execução e monitoramento de sistemas e na melhoria contínua de processos e procedimentos.
Os principais tópicos incluem automação de alterações, reação a eventos e definição de padrões para gerenciar as operações diárias.
Segurança
Destaca-se na proteção de informações e sistemas. Os principais tópicos incluem confidencialidade e integridade de dados, gerenciamento de permissões de usuário e estabelecimento de controles para detectar eventos de segurança.
Confiabilidade
Aplica-se nos workloads que executam as funções pretendidas e na recuperação rápida de falhas em atender demandas.
Os principais tópicos desse pilar incluem: projeto de sistemas distribuídos, planejamento de recuperação e requisitos de adaptação a mudanças.
Eficiência de Performance
Concentra-se na alocação estruturada e simplificada de recursos de TI e computação. Os principais tópicos incluem seleção dos tipos e tamanhos certos dos recursos otimizados para os requisitos de workload, monitoramento de performance e manutenção da eficiência à medida que as necessidades comerciais evoluem.
Otimização de Custos
Destaca-se em evitar custos desnecessários. Os principais tópicos incluem: compreensão dos gastos ao longo do tempo e controle da alocação de fundos, seleção do tipo e quantidade certa de recursos e dimensionamento para atender às necessidades de negócios sem gastos excessivos.
Sustentabilidade
Esse pilar concentra-se em minimizar os impactos ambientais da execução de workloads em nuvem.
Assim, os principais tópicos incluem: um modelo de responsabilidade compartilhada para a sustentabilidade, compreensão do impacto e maximização da utilização para minimizar os recursos necessários e reduzir os impactos posteriores.
A AWS confia tanto nos pilares propostos, e leva tão a sério esta arquitetura, que oferece um crédito de U$5.000,00 aos clientes que atualizem o ambiente levando em consideração essas seis áreas. Contudo, para ter acesso a esse crédito, é necessário realizar avaliação e reavaliação com um parceiro AWS acreditado para esse procedimento. E a DNX Brasil é acreditada pela AWS para realizar esse serviço.
E para facilitar que as empresas adquiram este ambiente otimizado, assim como, o crédito fornecido pela AWS, a DNX criou um produto chamado de DNX One Foundation, que você poderá conhecer melhor acompanhando as nossas próximas postagens!
Gostou do conteúdo? Siga as nossas publicações para ficar por dentro de tudo o que acontece no ambiente Cloud. Em caso de dúvida, entre em contato com a DNX Brasil, estamos aqui para te ajudar!
Escrito por: Caio Iketani
A DNX Brasil tem as melhores soluções e a experiência que você precisa para impulsionar seu negócio. Entre em contato conosco para obter um plano para sua jornada na nuvem.
11
nov
Saiba o que realmente são as práticas Well-Architected da AWS
Não é de hoje que a computação em nuvem vem revolucionando o mundo. Nesse contexto, com as soluções encontradas, diversas áreas da vida cotidiana estão se transformando.
E no que se refere aos serviços em nuvem (cloud services), há inúmeras possibilidades de uso que podem variar de acordo com os interesses da empresa e/ou startup.
Assim, nesse meio, é comum nos depararmos com os seguintes termos: PaaS, Plataform as a Service, SaaS, Software as a Service, IaaS, Infrastructure as a Service, entre outros. Processos que são bem compreendidos, principalmente, por quem trabalha na área.
Logo, você já ouviu falar na AWS (Amazon Web Services) e nos produtos e serviços oferecidos pela AWS, como o Well-Architected? Caso não, continue a leitura e vamos solucionar este problema agora!
Um dos maiores e melhores serviços em nuvem (cloud) do planeta
A AWS é conhecida mundialmente, pois é a maior empresa de computação em nuvem do mundo possuindo uma oferta de mais de 165 produtos e serviços.
Entre os serviços oferecidos pela AWS, destacam-se: o Storage, Banco de Dados, Computação, Servidores, Machine Learning etc. E em relação a infraestrutura, destacam-se a IaaS, Amazon S3, AWS EC2 e Lambda.
No que se refere a plataforma (PaaS) elencamos ainda, Elastic Beanstalk e Dynamodb, além de diversos softwares (SaaS) que se encontram disponíveis à venda na própria AWS.
Essa gama de produtos e serviços cresce a cada ano, dando muitas opções de soluções para o cliente. Porém, às vezes, o ambiente oferecido não é utilizado da forma mais adequada, e isso pode impactar em questões de segurança, desempenho, custo, infraestrutura, atendimento ao cliente entre outros.
The process of migrating from an on-premise system to the cloud is complex, but when companies hide from the future, they get left behind.
Don’t let your company get stuck in the past, read on to find out what you need to know when considering migration. Our Cloud Migration Checklist will help you craft a well-informed plan to prepare and strategise for your migration to the cloud.
Afinal, do que se trata o Well-Architected?
Para ajudar seus clientes a utilizar da melhor forma possível todos os serviços oferecidos, a AWS fixou seis áreas que foram definidas como os pilares do Well-Architected, que são: Excelência Operacional, Segurança, Confiabilidade, Otimização de Custos, Eficiência e Performance, e Sustentabilidade.
A seguir, apresentamos os seis pilares que dão a base para a Well-Architected:
Excelência Operacional
Esse importante pilar, concentra-se na execução e monitoramento de sistemas e na melhoria contínua de processos e procedimentos.
Os principais tópicos incluem automação de alterações, reação a eventos e definição de padrões para gerenciar as operações diárias.
Segurança
Destaca-se na proteção de informações e sistemas. Os principais tópicos incluem confidencialidade e integridade de dados, gerenciamento de permissões de usuário e estabelecimento de controles para detectar eventos de segurança.
Confiabilidade
Aplica-se nos workloads que executam as funções pretendidas e na recuperação rápida de falhas em atender demandas.
Os principais tópicos desse pilar incluem: projeto de sistemas distribuídos, planejamento de recuperação e requisitos de adaptação a mudanças.
Eficiência de Performance
Concentra-se na alocação estruturada e simplificada de recursos de TI e computação. Os principais tópicos incluem seleção dos tipos e tamanhos certos dos recursos otimizados para os requisitos de workload, monitoramento de performance e manutenção da eficiência à medida que as necessidades comerciais evoluem.
Otimização de Custos
Destaca-se em evitar custos desnecessários. Os principais tópicos incluem: compreensão dos gastos ao longo do tempo e controle da alocação de fundos, seleção do tipo e quantidade certa de recursos e dimensionamento para atender às necessidades de negócios sem gastos excessivos.
Sustentabilidade
Esse pilar concentra-se em minimizar os impactos ambientais da execução de workloads em nuvem.
Assim, os principais tópicos incluem: um modelo de responsabilidade compartilhada para a sustentabilidade, compreensão do impacto e maximização da utilização para minimizar os recursos necessários e reduzir os impactos posteriores.
A AWS confia tanto nos pilares propostos, e leva tão a sério esta arquitetura, que oferece um crédito de U$5.000,00 aos clientes que atualizem o ambiente levando em consideração essas seis áreas. Contudo, para ter acesso a esse crédito, é necessário realizar avaliação e reavaliação com um parceiro AWS acreditado para esse procedimento. E a DNX Brasil é acreditada pela AWS para realizar esse serviço.
E para facilitar que as empresas adquiram este ambiente otimizado, assim como, o crédito fornecido pela AWS, a DNX criou um produto chamado de DNX One Foundation, que você poderá conhecer melhor acompanhando as nossas próximas postagens!
Gostou do conteúdo? Siga as nossas publicações para ficar por dentro de tudo o que acontece no ambiente Cloud. Em caso de dúvida, entre em contato com a DNX Brasil, estamos aqui para te ajudar!
Entre em contato com um especialista da DNX Brasil e reserve uma reunião gratuita de 15 minutos e explore suas possibilidades de Migração para Nuvem
31
ago
AWS, Azure, or GCP: Which cloud provider is right for you?
AWS, Azure, or GCP: Which cloud provider is right for you?
The Big Three
In modern day cloud computing, three major providers hold the top spots: Google Cloud Platform (GCP), Microsoft Azure, and Amazon Web Services (AWS).
While all three platforms look similar on the surface, with features such as self-service, autoscaling and high level security and compliance, the difference is in the details. Each of these providers vary in their computing capabilities, storage technologies, pricing structures and more.
When migrating to the cloud, the key to success is choosing a provider that matches your unique business goals. In this article, we outline the major differences and provide guidance on how to choose the right cloud provider for you.
Computing Power
GCP is less functionally rich than Azure and AWS, though it offers unique advantages including managing and deploying cloud applications, payable only when code is deployed.
Azure uses a network of virtual machines to offer a full variety of computing services, including app deployment, extensions and more.
AWS computing, termed E2C, is highly flexible, powerful and less costly than other services. E2C provides auto scaling to your usage, so you don’t pay more than necessary. AWS offers a sophisticated range of computing features including speed, optimal security, managing security groups, and much more.
Storage Technologies
Whilst GCP’s storage options are reliable, they remain fairly basic, with features including cloud storage and persistent disk storage.
Azure offers many storage cloud types to target various organisational needs, including Data Lake Storage, Queue Storage and Blob Storage. Additionally, File Storage is optimised for most business requirements.
AWS offers a wide range of storage solutions that allow for a high level of versatility. Simple Storage Service is industry standard, while Storage Gateway offers a more comprehensive storage approach.
Network & Location
GCP does not match the reach of Azure or AWS, currently serving 21 regions with aims to grow its number of data centres around the world.
Azure is available in 54 regions worldwide, keeping traffic within the Azure network for a secure networking solution.
AWS runs on a comprehensive global framework around 22 different regions, including 14 data centres and 114 edge locations. This ensures continuous service, reliable performance, speedy cloud deployment and lightning-fast response times.
Pricing Structure
GCP offers multiple pricing options, from free tier to long-term reservations. These prices are affected by many factors including network, storage and serverless pricing.
Azure charges on a per-second basis, allowing users to start and stop the service, paying only for what they use.
AWS provides a convenient pay-as-you-go model, allowing users to pay only for what they consume, without any termination fees.
Conclusion
AWS is the superior cloud provider in the market, reducing time to value for customers and increasing business agility. With significantly more services than the other providers, AWS offers a greater range of features to its users. For these reasons, among others, DNX Solutions works exclusively with AWS, helping our clients take full advantage of all the benefits it provides. Each of our solutions are designed with AWS in mind, allowing us to focus on getting the most out of the cloud for our clients, today and in the future.
How can DNX help you?
Contact us now to learn more about making the most of the many AWS benefits.
As an AWS partner, DNX offers the guidance and expertise for cloud migrations done right. We offer seamless migration to AWS, following best practice architectural solutions while offering modernisation as a part of the process. With a professional team by your side ensuring security, compliance and best practices, your business will get the most out of this powerful cloud provider.
Contact a DNX expert to book a free 15-minute consultation and explore your possibilities for Cloud Migration
20
ago
The basics of Cloud Migration
What is Cloud Migration all about?
The concept of cloud migration is familiar to those who use cloud storage in their personal lives. Simply put, cloud migration is the process of moving information from an on-premise source to a cloud computing environment. You can think of it as moving all your important data and programs from your personal computer to a place where they are automatically backed-up and protected. If your computer were to experience a power failure, have hot coffee spilled over it, or be stolen, you would be able to access all of your data from another computer, and have the ability to update your security functions if a breach had occurred. With greater movement of employees and company expansions, storing data in the cloud facilitates business innovation and security, leading to efficiency and ease of governance, preparing you for the digital future.
On a larger scale, cloud migration for businesses includes the migration of data, applications, information, and other business elements. It may involve moving from a local data centre to the cloud, or from one cloud platform to another.
The key benefit is that, through cloud migration, your business can host applications and data in the most effective IT environment possible with flexible infrastructure and the ability to scale. This enhances the cost savings, performance and security of your business over the long term.
Cloud migration is a transformation that will lead the way forward in years to come.
What are the benefits of migrating to the cloud?
The cloud brings agility and flexibility to your business environment. As we move into the world of digital workspaces, cloud migration allows for enhanced innovation opportunities, alongside faster time to delivery.
Businesses will realise all kinds of benefits, including reduced operating costs, simplified IT, improved scalability, and upgraded performance. Meeting compliance for data privacy laws becomes easier, and automation and AI begin to improve the speed and efficiency of your operations. Cloud migration results in optimisation for nearly every part of your business.
What are the options for Cloud Migration?
There are six main methods used to migrate apps and databases to the cloud.
- Rehosting (“Lift-and-shift”). Through this method, the application is moved to the cloud without any changes made to optimise the application for the new environment. This allows for a fast migration, and businesses may choose to optimise later.
- Replatforming (“Lift-tinker-and-shift”). This involves making a few optimisations rather than strictly migrating a legacy database.
- Re-purchasing. This involves purchasing a new product, either by transferring your software licence to an online server or replacing it entirely using SaaS options.
- Re-architecting/Refactoring. This method involves developing the application using cloud-native features. Although initially more complex, this future-focussed method provides the most opportunity for optimisation.
- Retiring. Applications that are no longer required are retired, achieving cost savings and operational efficiencies.
- Retaining. This is a choice to leave certain applications as they are with the potential to revisit them in the future and decide whether they are worth migrating.
How much does it cost?
Migrating to the cloud requires a comprehensive strategy, taking into account multiple management, technology and resource challenges. This means the cost of migration can vary widely, particularly as goals and requirements differ between organisations. Funding options may be available to your business when migrating to AWS, so considering all your options carefully may factor such opportunities into your decision and have an impact on which methodology you choose to follow.
In recent years, technologies and cloud computing companies have been developed to create ease and efficiency in the migration process, such as cloud migration powerhouse DNX Solutions.
How does DNX help you with Cloud Migration?
DNX identifies your unique business needs to uncover the best pathway for you, making your migration journey simpler, faster, and more cost-effective. With a secure, speedy cloud migration process, DNX sets your business up for success from day one.
Using DNX for Cloud Migration means you migrate the right way — and unlock full value from AWS — through a unique, secure, and automated foundation.
DNX makes it easy to migrate to a Well-Architected, compliant AWS environment. As part of the process, DNX modernises your applications so you can leverage the benefits of cloud-native technologies. This means your business will enjoy more resilience, cost efficiency, scalability, security, and availability from the very beginning.
DNX has the solutions and experience you need. Contact us today for a blueprint of your journey towards data engineering.
27
abr
Quicksight vs Tableau for Data Analytics. A Comprehensive Comparison
With so many tools available to improve business experiences, it can be difficult to know which will work best for your specific needs. Comparisons between the top competitors can save you significant resources before investing in tool purchases and training your team. Two well-known data analytics tools are Tableau and QuickSight, both of which offer a range of visualisations allowing you and your team to understand your data better. In a world where data is becoming more and more powerful, understanding the story your data tells is absolutely essential for future success.
Whilst all businesses are at different stages of their data modernisation journeys, those who invest in getting ahead now find themselves with a huge advantage over the competition. Data analytics has gone a long way since manually manipulating data in excel, and today a number of simplified platforms are available, meaning you don’t need a team full of data scientists in order to understand what’s going on around you. Tableau, founded in 2003, is now competing with QuickSight, rolled out in 2016. In this article we will comprehensively compare these two analytics tools, so you don’t have to.
Getting Started:
Unlike Tableau’s need for a desktop to create data sources, QuickSight has a range of options for data connectivity. Anyone can start viewing insights on QuickSight despite their level of training, so it allows for the whole team to understand what the data is saying. Tableau is not the easiest tool to navigate with many business users only benefitting from the tool after undertaking training. If you have a diverse team with varying technical knowledge, QuickSight is the right tool for you.
Management:
Tableau has two options for servers, Tableau Online and On-Premises Tableau servers. On-prem servers require dashboards to be developed by analysts and pushed to the server. In addition, they require provision of servers and infrastructure which can be costly to maintain, upgrade and scale. The Tableau Online option has support for a limited number of data sources and is plagued with a history of performance issues. QuickSight, on the other hand, is a cloud-native SaaS application with auto-scaling abilities. Content is browser based, meaning different version usage by clients and servers is inconsequential. In addition, QuickSight’s release cycles allow customers to use new functionality as they emerge with no need to upgrade the BI platform.
Speed and Innovation:
The use of local machines and self-managed servers inhibits Tableau’s ability to perform at great speed and often requires technology upgrades. QuickSight however, produces interactive visualisations in milliseconds thanks to its in-memory optimised engine SPICE. In regards to innovation, despite Tableau’s quarterly release cycle, most users only upgrade annually due to the complexity and costs involved. In contrast, QuickSight users can take advantage of the constant stream of new features as soon as they are released.
Cost and Scalability:
The cost difference between the two tools is so extreme that it is barely worth comparing. Tableau has three pricing options, all of which are required to be paid in full regardless of monthly usage. Tableau’s plans range from $15 to $70 per month. QuickSight is priced on a per-user basis and ranges from $5 to $28 per month. If a user goes a month without logging in, they pay nothing. In the most common scenario, QuickSight is 85% cheaper than Tableau.
The inflexible pricing plans offered by Tableau mean deciding to scale is a difficult call to make. In addition, as the amount of users and data increases so too do the overhead costs of maintaining the BI infrastructure. QuickSight, like all AWS products, is easily scalable and doesn’t require server management. Risk is reduced when experimenting with scaling thanks to QuickSight’s usage-based pricing model.
Security:
Customers utilising Tableau have some difficult decisions to make when it comes to security. Due to the deployment of agents/gateway to connect data on-premises or in Private VPCs, security levels are compromised. QuickSight allows customers to link privately to VPCs and on-premises data, protecting themselves from exposure through the public internet. With automatic back-ups in S3 for 11 9s durability and HA/multi-AZ replication, your data is safe with QuickSight.
Memory:
Tableau’s in-memory data engine Hyper, may be able to handle very large datasets, but it is no match to SPICE. SPICE by QuickSight has a constantly increasing row limit and QuickSight Q offers superior performance when it comes to integrating with RedShift and Athena to analyse large amounts of data in real time.
Sourcing and Preparing Data:
Although the frequency of data being stored on-premises is slowing, some companies are yet to undertake full data modernisation solutions and require access to on-prem locations. Tableau can handle this issue with access to data from sources such as HANA, Oracle, Hadoop/Hive and others. QuickSight, whilst primarily focussed on cloud based sources, also has the ability to connect to on-premises data through AWS Direct Connect. The growing list of databases available to QuickSight includes Teradata, SQL Server, MySQL, PostgreSQL and Oracle (via whitelisting). Tableau allows users to combine multiple data sources in order to prepare data for analysis through complex transformations and cleansing. QuickSight can utilise other AWS tools such as Glue and EMR to guarantee quality treatment of data. Beyond the two mentioned, there are multiple other ETL partners that can be accessed for data cleansing.
Dashboard Functionality and Visualisations:
Tableau has built-in support for Python and R scripting languages and offers a range of visualisation types as well as highly formatted reports and dashboards. QuickSight tends to be more popular in its visualisations, with over a dozen types of charts, plots, maps and tables available. The ease at which data points can be added to any analysis ensures clarity and allows comparisons to be made with the click of a button. Furthermore, machine learning enhances user experience by making suggestions based on the data being considered at the time.
Conclusion:
Whilst Tableau was an extremely innovative tool back when it was founded in 2003, it is no match to QuickSight. With the ability to connect to a full suite of software and platforms available within Amazon Web Services, QuickSight is so much more than a stand-alone tool. For businesses looking for a fast, scalable and easily understood data analytics tool, they cannot go wrong with QuickSight.
With the importance of data growing exponentially, it is no longer realistic to rely on the extensive knowledge of data scientists and analysts for everyday visualisations. QuickSight allows employees throughout the business to gain quick understanding of data points without having to wait for help from analysts. QuickSight is continually releasing new features to make the tool even more user friendly as time goes on.
Data Modernisation solutions offered by DNX frequently utilise QuickSight in order to provide clients with the most cost-effective, scalable and easy to use systems, increasing the power they have over their data.
DNX has the solutions and experience you need. Contact us today for a blueprint of your journey towards data security.
27
abr
Harnessing the Power of Data in the Financial Sector
Digitisation has enabled technology to transform the financial industry. Advanced analytics, machine learning (ML), artificial intelligence (AI), big data, and the cloud have been embraced by financial companies globally, and the use of this technology brings an abundance of data.
When it comes to FinTech, pace is paramount. The more accurate trends and predictions are, the more positive the outcomes will be. Data-driven decision making is key.
How Data Can Benefit the Financial Industry
Today, FinTech businesses must be data-driven to thrive, which means treating data as an organisational asset. The collection and interpretation of data enable businesses to gain quick and accurate insights, resulting in innovation and informed decision-making.
It is recommended to set up business data in a way that provides easy access to those who need it.
Finance and Big Data
The compilation of globally collected data, known as Big Data, has had fascinating effects on the finance industry. As billions of dollars move each day, Big Data in finance has led to technological innovations, transforming both individual businesses and the financial sector as a whole.
Analysts monitor this data each day as they establish predictions and uncover patterns. In addition, Big Data is continuously transforming the finance industry as we know it by powering advanced technology such as ML, AI, and advanced analytics..
The Influence of ML on the Market
Powered by big data, ML is changing many aspects of the financial industry, such as trade and investments, as it accounts for political and social trends that may affect the stock market, monitored in real-time.
ML powers fraud detection and prevention technologies, reducing security risks and threats. Additiontionally, it provides advances in risk analysis, as investments and loans now rely on this technology.
Despite all the gains made so far, the technologies powered by advanced machine learning continue to evolve.
Security and Data Governance
The cost of data breaches are increasing. In 2021, the financial sector had the second-highest costs due to breaches, behind only healthcare. The technology sector was the fourth most affected, meaning the risk of breaches for FinTech organisations is high.
Data governance is necessary to mitigate risks associated with the industry, which means many companies are required to undergo data modernisation. Businesses must ensure all data is secure and protected and suspicious activity is detected and flagged, in line with strict government standards.
Taking the first steps
The journey to data modernisation offers benefits that far exceed the initial cost of investment, though the process to accreditation can be daunting. The journey begins with building strategies from clear objectives, then mapping the plan, migrating data, implementing cloud tools, and beyond.
To simplify the initial steps towards compliant data modernisation, DNX Solutions has prepared a guide to help FinTech businesses modernise their data. Click here to view the 8 steps you need to take to prepare for your Data Modernisation journey.
DNX has the solutions and experience you need. Contact us today for a blueprint of your journey towards data security.
31
mar
Automating .NET Framework deployments with AWS CodePipeline to Elastic Beanstalk
When it comes to Windows CI/CD pipeline people immediately start thinking about tools like Jenkins, Octopus, or Azure DevOps, and don’t get me wrong because those are still great tools to deal with CI/CD complexities. However, today I will be explaining how to implement a simpler .NET Framework (Windows) CI/CD pipeline that will deploy two applications (API and Worker) to two different environments using GitHub, CodePipeline, CodeBuild (Cross-region), and Elastic Beanstalk.
Requirements
- AWS Account
- GitLab repository with a .NET Framework blueprint application
- Existing AWS Elastic Beanstalk Application and Environment
CodePipeline setup
Let’s create and configure a new CodePipeline, associating an existing GitHub repository via CodeStar connections, and linking it with an Elastic Beanstalk environment.
First, let’s jump into AWS Console and go to CodePipeline.
Once in the Codepipeline screen, let’s click on Create Pipeline button.
This will start the multi-step screen to set up our CodePipeline.
Step 1: Choose pipeline setting
Please enter all required information as needed and click Next.
Step 2: Add source stage
Now let’s associate our GitHub repository using CodeStar connections.
For Source Provider we will use the new GitHub version 2 (app-based) action.
If you already have GitHub connected with your AWS account via CodeStar connection, you only need to select your GitHub repository name and branch. Otherwise, let’s click on Connect to GitHub button.
Once at the Create a connection screen, let’s give it a name and click on Connect to GitHub button.
AWS will ask you to give permission, so it can connect with your GitHub repository.
Once you finish connecting AWS with GitHub, select the repository you want to set up a CI/CD by searching for its name.
The main branch we’ll use to trigger our pipeline will be main as a common practice, but you can choose a different one you prefer.
For the Change detection options, we’ll select Start the pipeline on source code change, so whenever we merge code or push directly to the main branch, it will trigger the pipeline.
Click Next.
Step 3: Add build stage
This step is the one we will generate both source bundle artifacts used to deploy both our API and Worker (Windows Service application) to Elastic Beanstalk.
We will also need to use a Cross-region action here due to CodeBuild limitations regarding Windows builds as stated by AWS on this link.
Windows builds are available in US East (N. Virginia), US West (Oregon), EU (Ireland) and US East (Ohio). For a full list of AWS Regions where AWS CodeBuild is available, please visit our region table.
⚠️ Note: Windows builds usually take around 10 to 15 minutes to complete due to the size of the Microsoft docker image (~8GB).
At this point, if you try to change the Region using the select option, the Create project button will disappear, so for now, let’s just click on Create project button and we can change the region in the following screen. And, please, make sure to select one of the regions where Windows builds are available.
Once you’ve selected a region where Windows builds are available, you can start entering all the required information for your build.
For the Environment section, we need to select the Custom image option, choose Windows 2019 as our Environment type, then select Other registry and add the Microsoft Docker image registry URL (mcr.microsoft.com/dotnet/framework/sdk:4.8) to the External registry URL.
Buildspec config can be left as default.
I highly recommend you to have a look at AWS docs Build specification reference for CodeBuild If you don’t know what a buildspec file is. Here is a brief description extracted from AWS documentation.
A buildspec is a collection of build commands and related settings, in YAML format, that CodeBuild uses to run a build. You can include a buildspec as part of the source code or you can define a buildspec when you create a build project. For information about how a build spec works, see How CodeBuild works.
Let’s have a look at our Buildspec file.
version: 0.2
env:
variables:
SOLUTION: DotNetFrameworkApp.sln
DOTNET_FRAMEWORK: 4.8
PACKAGE_DIRECTORY: .\packages
phases:
install:
commands:
- echo "Use this phase to install any dependency that your application may need before building it."
pre_build:
commands:
- nuget restore $env:SOLUTION -PackagesDirectory $env:PACKAGE_DIRECTORY
build:
commands:
- msbuild .\DotNetFrameworkApp.API\DotNetFrameworkApp.API.csproj /t:package /p:TargetFrameworkVersion=v$env:DOTNET_FRAMEWORK /p:Configuration=Release
- msbuild .\DotNetFrameworkApp.Worker.WebApp\DotNetFrameworkApp.Worker.WebApp.csproj /t:package /p:TargetFrameworkVersion=v$env:DOTNET_FRAMEWORK /p:Configuration=Release
- msbuild .\DotNetFrameworkApp.Worker\DotNetFrameworkApp.Worker.csproj /t:build /p:TargetFrameworkVersion=v$env:DOTNET_FRAMEWORK /p:Configuration=Release
post_build:
commands:
- echo "Preparing API Source bundle artifacts"
- $publishApiFolder = ".\publish\workspace\api"; mkdir $publishApiFolder
- cp .\DotNetFrameworkApp.API\obj\Release\Package\DotNetFrameworkApp.API.zip $publishApiFolder\DotNetFrameworkApp.API.zip
- cp .\SetupScripts\InstallDependencies.ps1 $publishApiFolder\InstallDependencies.ps1
- cp .\DotNetFrameworkApp.API\aws-windows-deployment-manifest.json $publishApiFolder\aws-windows-deployment-manifest.json
- cp -r .\DotNetFrameworkApp.API\.ebextensions $publishApiFolder
- echo "Preparing Worker Source bundle artifacts"
- $publishWorkerFolder = ".\publish\workspace\worker"; mkdir $publishWorkerFolder
- cp .\DotNetFrameworkApp.Worker.WebApp\obj\Release\Package\DotNetFrameworkApp.Worker.WebApp.zip $publishWorkerFolder\DotNetFrameworkApp.Worker.WebApp.zip
- cp -r .\DotNetFrameworkApp.Worker\bin\Release\ $publishWorkerFolder\DotNetFrameworkApp.Worker
- cp .\SetupScripts\InstallWorker.ps1 $publishWorkerFolder\InstallWorker.ps1
- cp .\DotNetFrameworkApp.Worker.WebApp\aws-windows-deployment-manifest.json $publishWorkerFolder\aws-windows-deployment-manifest.json
- cp -r .\DotNetFrameworkApp.Worker.WebApp\.ebextensions $publishWorkerFolder
artifacts:
files:
- '**/*'
secondary-artifacts:
api:
name: api
base-directory: $publishApiFolder
files:
- '**/*'
worker:
name: worker
base-directory: $publishWorkerFolder
files:
- '**/*'
As you can see, we have a few different phases in our build spec file.
- install: Can be used, as its names suggest, to install any build dependencies that are required by your application and not listed as a NuGet package.
- pre_build: That’s a good place to restore all NuGet packages.
- build: Here’s where we will build our applications. In this example, we are building and packing all our 3 applications.
msbuild .\DemoProject.API\DemoProject.API.csproj /t:package /p:TargetFrameworkVersion=v$env:DOTNET_FRAMEWORK /p:Configuration=Release- msbuild: The Microsoft Build Engine is a platform for building applications.
- **\DemoProject.API.csproj: The web application we are targeting in our build.
- /t:Package: This is the MSBuild Target named Package which we have defined as part of the implementation of the Web Packaging infrastructure.
- /p:TargetFrameworkVersion=v$env:DOTNET_FRAMEWORK: A target framework is the particular version of the .NET Framework that your project is built to run on.
- /p:Configuration=Release: The configuration that you are building, generally Debug or Release, but configurable at the solution and project levels.
- For .NET Core/5+ we use the .NET command-line interface (CLI), which is a cross-platform toolchain for developing, building, running, and publishing .NET applications.
- Last but not least, we have our Worker or Windows Service application build. One of the differences here is the absence of the parameter MSBuild Target parameter
/t:buildwhen compared with ourDemoProject.API.csprojweb API project. Another difference is the folder where all binaries will be published.
- post_build: After all applications have been built we need to prepare the source bundle artifacts for Elastic Beanstalk. At the end of this phase, CodeBuild will prepare two source bundles which will be referred to by the artifacts section.
- In the first part of this phase, we are creating two workspace folders, one for our API and another for our Worker.
- Next, we are copying a few files to our API workspace.
- **\DemoProject.API.zip: This is the Web API package generated by MSBuild.
- **\InstallDependencies.ps1: Optional PowerShell script file that can be used to install, uninstall or even prepare anything you need in your host instance before your application starts running.
- aws-windows-deployment-manifest.json: A deployment manifest file is simply a set of instructions that tells AWS Elastic Beanstalk how a deployment bundle should be installed. The deployment manifest file must be named
aws-windows-deployment-manifest.json.
- Next, we are copying a few files to our API workspace.
- In the first part of this phase, we are creating two workspace folders, one for our API and another for our Worker.
-
- Our Worker’s source bundle is prepared in the second part of this phase and it contains 2 applications:
- One is just an almost empty .NET core Web application required by Beanstalk that we are using as a health check.
- The second one is our actual Worker in form of a Windows Service Application.
- **\InstallWorker.ps1: Here’s a sample of a PowerShell script used to execute our Worker installer.
- Our Worker’s source bundle is prepared in the second part of this phase and it contains 2 applications:
aws-windows-deployment-manifest.json: Very similar to the previous one, this file, the only difference is that now we have a specific script containing instructions to install our service in the host machine.
In the artifacts section, CodeBuild will output two source bundles (API and Worker), which will be used as an input for the deploy stage.
Once you finish configuring your CodeBuild project, click on the Continue to CodePipeline button.
Now back to CodePipeline, select the region you created a CodeBuild project, then select it from the Project name dropdown. Feel free to add environment variables if you need them.
Click Next.
Step 4: Add deploy stage
We are now moving to our last CodePipeline step, the deployment stage. This step is to decide where our code is going to be deployed, or what AWS service we’re going to use to get our code to work on.
⚠️ Note: You will notice that we don’t have a way to configure two different deployments, so at this time you can either skip the deploy stage or set up only one application, then fix it later on. I will choose the latter option for now.
Select AWS Elastic Beanstalk for our Deploy provider.
Choose the Region that your Elastic Beanstalk is deployed under.
Then, search and select an Application name under that region or create an application in the AWS Elastic Beanstalk console and then return to this task.
⚠️ Note: If you don’t see your application name, double-check that you are in the correct region in the top right of your AWS Console. If you aren’t you will need to select that region and perhaps start this process again from the beginning.
Search and select the Environment name from your application.
Click Next.
Review
Now it’s time to review the entire settings of our pipeline to confirm before creating.
Once you are done with the review step, click on Create pipeline.
Pipeline Initiated
After the pipeline is created, the process will automatically pull your code from the GitHub repository and then deploy it directly to Elastic Beanstalk.
Let’s customize our Pipeline
First, we need to change our Build step to output two artifacts as stated in the build spec file.
In the new Pipeline, let’s click on the Edit button.
Click on Edit stage button located in the “Edit: Build” section.
Let’s edit our build.
Let’s specify our Output artifacts according to our build spec file. Then, click on Done.
Now, let’s click on the Edit stage button located in the “Edit: Deploy” section.
Here we will edit our current Elastic Beanstalk, then we will add a second one.
Let’s edit our current Elastic Beanstalk deployment first.
Change the action name to something more unique for your application, then select “api” in the Input artifacts dropdown and click on Done.
Let’s add a new action.
Add an Action name, like DeployWorker for instance.
Select AWS Elastic Beanstalk in the Action provider dropdown.
Choose the Region that your Elastic Beanstalk is located.
Select “worker” in the Input artifacts dropdown.
Then, select your Application and Environment name, and click on Done.
Save your changes.
Now we have both of our applications covered by our pipeline.
Confirm Deployment
If we go to AWS Console and access the new Elastic Beanstalk app, we should see the service starting to deploy and then transition to deployed successfully.
⚠️ Note: If you, as in this application repository demo, are creating an AWS WAF, your deployment will fail if the CodePipeline role doesn’t have the right permission to create it.
Let’s fix it!
On AWS Console, navigate to IAM > Roles under IAM dashboard, and find and edit the role used by your CodePipeline by giving the right set of permissions required to CodePipeline be able to create a WAF.
Go back to your CodePipeline and click on Retry.
That will trigger the deploy step again and if you go to your Elastic Beanstalk app, you will see the service starting to deploy and then transition to deployed successfully.
After a few seconds/minutes, the service will transition to deployed successfully.
If we access the app URL, we should see our health check working.
See deployment in action
This next part is to make a change to our GitHub repository and see the change automatically deployed.
Demo application
You can use your repository, but for this part, we’ll be utilizing this one.
Here’s the current project structure.
(root directory name) ├── buildspec.yml ├── DotNetFrameworkApp.sln ├── DotNetFrameworkApp.API │ ├── .ebextensions │ │ └── waf.config │ ├── App_Start │ │ ├── SwaggerConfig.cs │ │ └── WebApiConfig.cs │ ├── Controllers │ │ ├── HealthController.cs │ │ └── ValuesController.cs │ ├── aws-windows-deployment-manifest.json │ ├── DotNetFrameworkApp.API.csproj │ ├── Global.asax │ └── Web.config ├── DotNetFrameworkApp.Worker │ ├── App.config │ ├── DotNetFrameworkApp.Worker.csproj │ ├── Program.cs │ ├── ProjectInstaller.cs │ └── Worker.cs ├── DotNetFrameworkApp.Worker.WebApp │ ├── .ebextensions │ │ └── waf.config │ ├── App_Start │ │ └── WebApiConfig.cs │ ├── Controllers │ │ ├── HealthController.cs │ │ └── StatusController.cs │ ├── aws-windows-deployment-manifest.json │ ├── DotNetFrameworkApp.Worker.WebApp.csproj │ ├── Global.asax │ └── Web.config
DotNetFrameworkApp repository contains 3 applications (API, Worker, and a WebApp for the Worker) created with .NET Framework 4.8.
We are also adding an extra security layer using a Web Application Firewall (WAF) to protect our Application Load Balancer, created by Elastic Beanstalk, against attacks from known unwanted hosts.
Code change
Make any change you need in your repository and either commit and push directly to main or create a new pull request and then merge that request to the main branch.
Once pushed or merged, you can take a look at the CodePipeline automatically pull and deploy this new code.
What’s next?
The next step would be to introduce Terraform, have everything we have built here as code, have an automatic way to pass additional environment variables, and introduce logging.
Final Thoughts
AWS CodePipeline when combined with other services can be a very powerful tool you can use to modernize and automatize your Windows workloads. This is just a first step, and you definitely should start planning to have: automated tests, environment variables, and even a better way to have Observability on your application.
DNX has the solutions and experience you need. Contact us today for a blueprint of your journey towards data engineering.