O que é detecção de anomalias?

Uma anomalia é uma mudança ou desvio inesperado de um padrão esperado em um conjunto de dados. A detecção de anomalias é alerta sobre comportamentos anormais porque anomalias mostram que algo diferente do esperado está acontecendo.

As anomalias não são necessariamente boas ou ruins, mas as empresas devem ser informadas sobre qualquer quebra de padrão para avaliar se precisam ou não agir.

As empresas geram milhões de pontos de dados durante as operações do dia a dia, mas muitas dessas informações valiosas não são utilizadas e acabam esquecidas. É por isso que a detecção de anomalias está ganhando destaque no mundo dos negócios: para otimizar operações e agilizar processos para um futuro mais previsível.

Qual é a diferença entre anomalias e outliers?

Muitos usuários de negócios usam os termos anomalia e outlier de forma intercambiável, mas existem diferenças importantes. As anomalias são semelhantes, mas não idênticas, a outliers.

Assumindo que todos os dados são gerados por um conjunto de processos, os outliers são pontos com baixa probabilidade de ocorrência dentro de um determinado conjunto de dados. São pontos de observação, distantes de outras observações dentro da população normal. No entanto, os outliers não representam necessariamente um comportamento anormal ou um comportamento que ocorreu devido a um processo diferente. Outliers são gerados pelo mesmo processo, mas ocorrem com menor probabilidade.

Por outro lado, as anomalias são padrões gerados por diferentes processos. Esses diferentes processos podem alertar uma empresa de que algo mudou, como uma falha ou fadiga do equipamento, e que ações adicionais podem ser necessárias.

Às vezes, é preciso discernimento e experiência no assunto para determinar qual categoria um determinado ponto de dados representa.

Qual é o valor da detecção de anomalias?

Todos os dias, as empresas geram grandes volumes de dados. Se aproveitados corretamente, esses dados podem ajudar as empresas a tomar decisões melhores, mais rapidamente. Uma maneira é através da detecção de anomalias, que pode impedir que um problema menor se torne um problema generalizado e demorado. Ao usar os métodos de aprendizado de máquina mais recentes, as empresas podem rastrear tendências, identificar oportunidades e ameaças e obter uma vantagem competitiva com a detecção de anomalias.

Como funciona?

Existem muitos recursos e soluções de tecnologia que podem ser usados para detectar anomalias em tempo real, ou até mesmo prevê-las, em alguns casos.

Descoberta visual

Os analistas de dados ou de negócios criam visualizações de dados para encontrar comportamentos inesperados, geralmente exigindo conhecimento prévio de negócios e pensamento criativo, e obter respostas com as visualizações de dados corretas. Visualizações avançadas, como aquelas geradas a partir de Componentes Principais, TSNE e UMAP, podem tornar os dados de alta dimensão acessíveis por meio de mapas de dimensão inferior.

Aprendizagem Supervisionada

A aprendizagem supervisionada usa pessoas com conhecimento de negócios em um setor específico para rotular um conjunto de pontos de dados como normal ou anômalo. Um analista usa esses dados rotulados para criar modelos de aprendizado de máquina e prever anomalias em novos dados não rotulados.

Aprendizagem Não Supervisionada

Dados não rotulados são usados para criar modelos de aprendizado de máquina não supervisionados para prever novos dados. Como o modelo é adaptado para aceitar dados normais, o pequeno número de pontos de dados anômalos se destaca.

Técnicas de séries temporais

As anomalias são detectadas por meio de análises de séries temporais com modelos que capturam tendências, sazonalidade e níveis em dados de séries temporais. Quando novos dados divergem muito do modelo, uma anomalia ou uma falha do modelo é indicada.

Autoencoders e aprendizado de máquina

As mais recentes técnicas de aprendizado de máquina e autoencoders detectam e respondem a anomalias em tempo real. Uma rede neural pode prever anomalias de transações e feeds de dados de sensores.

Clustering

Os analistas podem tentar classificar cada ponto de dados em um dos muitos clusters predefinidos ou descobertos; casos que não se enquadram em clusters conhecidos podem ser considerados anomalias.

Como a detecção de anomalias é usada atualmente?

Em quase todos os setores, há muitos casos de uso de negócios importantes para detecção de anomalias. Alguns dos exemplos mais comuns estão em seguros, serviços financeiros, saúde e manufatura:

• Crimes financeiros
• Sensores de equipamentos
• Fraude de saúde
• Defeitos de fabricação

Combate a crimes financeiros

Em finanças, trilhões de dólares em transações são executados a cada minuto. A identificação de transações suspeitas em tempo real pode fornecer uma vantagem competitiva às organizações. Para identificar transações anormais, clientes, fornecedores e as principais empresas financeiras adotam cada vez mais a análise de big data, incluindo técnicas de aprendizado de máquina, para detectar anomalias na gigantesca quantidade de dados gerados.

Além disso, as principais empresas financeiras podem economizar e controlar custos com a detecção de anomalias, eliminando investigações de falsos positivos e reduzindo perdas por fraude.

Monitoramento de sensores de equipamentos

Muitos tipos de equipamentos, veículos e máquinas agora possuem sensores embutidos. Por exemplo, seu smartphone tem muitos deles, incluindo luz ambiente e sensores retroiluminados, acelerômetros, bússolas digitais, giroscópios, proximidade, NFC, GPS e sensores de impressão digital. O monitoramento das saídas do sensor pode ser crucial para detectar e prevenir avarias e interrupções.

Os fabricantes orientados por dados podem acompanhar todos os seus equipamentos, veículos e máquinas em tempo real com dispositivos conectados à Internet das Coisas (IoT). Eles podem monitorar todas as suas saídas com uma solução de detecção de anomalias para evitar avarias e interrupções dispendiosas. Além disso, eles podem identificar padrões de dados anômalos que podem indicar problemas iminentes, empregando algoritmos de aprendizado não supervisionado, como autoencoders.

Fraude de seguro de saúde

A fraude de seguros é comum no setor de saúde, chegando a bilhões de dólares pagos aos fraudadores. É vital que as companhias de seguros identifiquem reivindicações fraudulentas para garantir que nenhum pagamento seja feito para contas fraudulentas. Nos últimos anos, muitas empresas investiram pesadamente em análises de big data para criar modelos supervisionados, não supervisionados e semisupervisionados para detectar fraudes em seguros.

Com recursos de análise de big data e detecção de anomalias, os provedores de saúde e seguros podem criar modelos supervisionados, não supervisionados e semisupervisionados para reduzir a probabilidade de fraude de seguros de saúde para cada solicitação enviada.

Defeitos de fabricação

Algumas empresas monitoram continuamente os dados do sensor em componentes fabricados com um modelo de autoencoder. À medida que o modelo pontua novos dados, os técnicos detectam e resolvem rapidamente quaisquer defeitos (anomalias) no momento em que ocorrem.

A verificação manual de defeitos e anomalias pode desperdiçar tempo e aumentar os custos para os fabricantes, razão pela qual muitos dos maiores fabricantes estão começando a usar autoencoders. As empresas podem usar dados de sensores em componentes fabricados para monitorar e detectar quaisquer eventos incomuns em tempo real, usando um modelo de autoencoder.

Mais casos de uso

Além desses casos de uso mais comuns, muitos outros setores também usam a detecção de anomalias:

• Vigilância militar: reconhecimento de imagem
• Cibersegurança: detecção de intrusão
• Sistemas de segurança: detecção de falhas
• Proteção contra hackers: detecção de tráfego de rede anômalo
• Clima: Implicações de ondas de calor ou ondas de frio
• Imagens por ressonância magnética: implicação de doença de Alzheimer ou tumor maligno
• Sensores de naves espaciais: identificação de componentes defeituosos

Como será o futuro da detecção de anomalias?

Os dados de hoje estão crescendo cada vez mais, e as empresas estão coletando mais informações do que nunca, com previsões de ainda mais crescimento de dados no futuro. Com essa riqueza de dados, as empresas devem ser capazes de rastrear padrões e, mais importante, detectar anomalias para evitar grandes falhas nos negócios, como mau funcionamento de equipamentos, fraudes e defeitos.

A detecção de anomalias nos padrões de dados pode ajudar as empresas a encontrarem informações úteis e a serem mais eficientes e competitivas na era digital. Com software de data science, as organizações podem usar modelos de aprendizado de máquina para especificar o comportamento esperado, monitorar novos dados e encontrar comportamentos inesperados para obter melhores resultados de negócios.

Para onde a detecção de anomalias pode nos levar? Com o uso crescente de aprendizado de máquina e inteligência artificial, detectar anomalias de máquina ou sensor não será o único caso de uso importante. Especialistas preveem que a detecção de anomalias continuará a crescer em destaque para vigilância por vídeo, diagnósticos de saúde e muito mais.