Tenho o prazer de anunciar a disponibilidade geral do Amazon Neptune Analytics , um novo mecanismo de banco de dados analítico que torna mais rápido para cientistas de dados e desenvolvedores de aplicativos analisar rapidamente grandes quantidades de dados gráficos.
Com o Neptune Analytics, agora você pode carregar rapidamente seu conjunto de dados do Amazon Neptune ou seu data lake no Amazon Simple Storage Service (Amazon S3) , executar suas tarefas de análise quase em tempo real e, opcionalmente, encerrar seu gráfico posteriormente.
Os dados gráficos permitem a representação e análise de relacionamentos e conexões intrincadas em diversos domínios de dados. As aplicações comuns incluem redes sociais, onde auxilia na identificação de comunidades, recomendação de conexões e análise de difusão de informações.
No gerenciamento da cadeia de suprimentos, os gráficos facilitam a otimização eficiente de rotas e a identificação de gargalos. Na segurança cibernética, revelam vulnerabilidades de rede e identificam padrões de atividades maliciosas.
Os dados gráficos encontram aplicação em gestão de conhecimento, serviços financeiros, publicidade digital e segurança de rede, realizando tarefas como identificar redes de lavagem de dinheiro em transações bancárias e prever vulnerabilidades de rede.
Desde o lançamento do Neptune em maio de 2018 , milhares de clientes adotaram o serviço para armazenar seus dados gráficos e realizar atualizações e exclusões em subconjuntos específicos do gráfico.
No entanto, a análise de dados para obter insights geralmente envolve carregar o gráfico inteiro na memória. Por exemplo, uma empresa de serviços financeiros que pretenda detectar fraudes pode precisar carregar e correlacionar todas as transações históricas da conta.
A realização de análises em extensos conjuntos de dados gráficos, como a execução de algoritmos gráficos comuns, requer ferramentas especializadas.
A utilização de soluções analíticas separadas exige a criação de pipelines intrincados para transferir dados para processamento, o que é difícil de operar, demorado e sujeito a erros.
Além disso, carregar grandes conjuntos de dados de bancos de dados ou data lakes existentes para uma solução de análise gráfica pode levar horas ou até dias.
Neptune Analytics oferece uma experiência de análise gráfica totalmente gerenciada. Ele cuida do trabalho pesado da infraestrutura, permitindo que você se concentre na solução de problemas por meio de consultas e fluxos de trabalho.
O Neptune Analytics aloca automaticamente recursos de computação de acordo com o tamanho do gráfico e carrega rapidamente todos os dados na memória para executar suas consultas em segundos. Nosso benchmarking inicial mostra que o Neptune Analytics carrega dados do Amazon S3 até 80 vezes mais rápido do que as soluções existentes da AWS.
O Neptune Analytics oferece suporte a 5 famílias de algoritmos que abrangem 15 algoritmos diferentes , cada um com diversas variantes. Por exemplo, fornecemos algoritmos para localização de caminhos, detecção de comunidades (clustering), identificação de dados importantes (centralidade) e quantificação de similaridade.
Algoritmos de localização de caminhos são usados para casos de uso como planejamento de rotas para otimização da cadeia de suprimentos. Algoritmos de centralidade, como page rank, identificam os vendedores mais influentes em um gráfico. Algoritmos como componentes conectados , clustering e algoritmos de similaridade podem ser usados em casos de uso de detecção de fraude para determinar se a rede conectada é um grupo de amigos ou uma rede de fraude formada por um conjunto de fraudadores coordenados.
O Neptune Analytics facilita a criação de aplicativos gráficos usando openCypher , atualmente uma das linguagens de consulta gráfica amplamente adotadas. Desenvolvedores, analistas de negócios e cientistas de dados apreciam a sintaxe inspirada em SQL do openCypher, considerando-a familiar e estruturada para compor consultas gráficas.
Artigo originalmente publicado em Blog AWS
