Cos'è il rilevamento delle anomalie?

Un'anomalia è un cambiamento inaspettato o una deviazione da un modello previsto in un set di dati. Il rilevamento delle anomalie è utilizzato per segnalare un comportamento anomalo in quanto esse mostrano che sta accadendo qualcosa di diverso dal previsto.

Le anomalie non sono necessariamente buone o cattive, ma le aziende dovrebbero essere a conoscenza di qualsiasi interruzione nel modello per valutare se devono agire o meno.

Le aziende generano milioni di punti dati durante le operazioni quotidiane, ma molte di queste preziose informazioni rimangono inutilizzate e dimenticate. Ecco perché il rilevamento delle anomalie sta diventando sempre più importante nel mondo degli affari: per ottimizzare le attività e snellire i processi per un futuro più prevedibile.

Qual è la differenza tra anomalie e outlier?

Molti utenti aziendali usano i termini anomalia e outlier in modo intercambiabile, ma ci sono differenze fondamentali. Le anomalie sono simili, ma non identiche, agli outlier.

Supponendo che tutti i dati siano generati da un insieme di processi, gli outlier sono punti con una bassa probabilità di ricorrenza all'interno di un dato set di dati. Sono punti di osservazione, distanti da altre osservazioni all'interno della popolazione normale. Tuttavia, gli outlier non rappresentano necessariamente un comportamento anomalo o un comportamento che si è verificato a causa di un processo diverso. Gli outlier sono generati dallo stesso processo, ma si verificano con una probabilità inferiore.

Al contrario, le anomalie sono modelli generati da processi differenti. Questi processi possono segnalare a un'azienda che qualcosa è cambiato e può richiedere ulteriori azioni, come un guasto o una sollecitazione delle apparecchiature.

A volte ci vuole giudizio e competenza in materia per stabilire quale categoria rappresenta un particolare punto dati.

Qual è il valore del rilevamento delle anomalie?

Ogni giorno, le aziende generano enormi volumi di dati. Se sfruttati correttamente, questi dati possono aiutare le aziende a prendere decisioni migliori, più velocemente. Un modo è attraverso il rilevamento delle anomalie. Rilevare le anomalie può impedire che una questione di poco conto diventi un problema diffuso e dispendioso in termini di tempo. Utilizzando gli ultimi metodi di machine learning, le aziende possono tracciare tendenze, individuare opportunità e minacce, e ottenere un vantaggio competitivo con il rilevamento delle anomalie.

Come funziona?

Esistono molte funzionalità tecnologiche e soluzioni che possono essere utilizzate per rilevare le anomalie in tempo reale o addirittura prevederle, in alcuni casi.

Scoperta visiva

Gli analisti di dati o di business costruiscono visualizzazioni di dati per trovare comportamenti inaspettati, che spesso richiedono un pensiero creativo e conoscenze aziendali preliminari per trovare le risposte con le giuste visualizzazioni di dati. Visualizzazioni avanzate come quelle generate dalle componenti principali, dal TSNE e dall'UMAP possono rendere i dati ad alta dimensione accessibili attraverso mappe a dimensione inferiore.

Apprendimento supervisionato

L'apprendimento supervisionato utilizza persone con conoscenze commerciali in un particolare settore per etichettare una serie di punti dati come normali o anomali. Un analista usa quindi questi dati etichettati per costruire modelli di machine learning e prevedere le anomalie su nuovi dati non etichettati.

Apprendimento non supervisionato

I dati non etichettati vengono utilizzati per costruire modelli di machine learning non supervisionati e prevedere nuovi dati. Poiché il modello è studiato per adattarsi ai dati normali, il piccolo numero di punti dati che sono anomali risalta.

Tecniche di serie temporali

Le anomalie vengono rilevate attraverso l'analisi delle serie temporali con modelli che catturano tendenze, stagionalità e livelli nei dati delle serie temporali. Quando i nuovi dati divergono troppo dal modello, viene indicata un'anomalia o un malfunzionamento del modello.

Autocodificatori e machine learning

Le più recenti tecniche di machine learning e gli autocodificatori rilevano e rispondono alle anomalie in tempo reale. Una rete neurale può prevedere le anomalie dalle transazioni e dai feed dei dati dei sensori.

Raggruppamento

Gli analisti possono tentare di classificare ogni punto dati in uno dei tanti cluster predefiniti o scoperti; i casi che non rientrano nei cluster conosciuti possono essere considerati anomalie.

Come viene usato attualmente il rilevamento delle anomalie?

In quasi tutti i settori, esistono molti casi d'uso aziendali importanti per il rilevamento delle anomalie. Alcuni degli esempi più comuni sono nelle assicurazioni, nei servizi finanziari, nella sanità e nel settore manifatturiero:

• Crimini finanziari
• Sensori di apparecchiature
• Frode sanitaria
• Difetti di fabbricazione

Combattere il crimine finanziario

In finanza, sono eseguite ogni minuto transazioni del valore di trilioni di dollari. Identificare transazioni sospette in tempo reale può fornire alle organizzazioni un vantaggio competitivo. Per individuare le transazioni anomale, i clienti, i fornitori e le principali società finanziarie hanno sempre più adottato la big data analytics, comprese le tecniche di machine learning, per rilevare le anomalie nel voluminoso mare di dati generati.

Inoltre, grazie al rilevamento delle anomalie le società finanziarie possono controllare i costi e risparmiare eliminando le indagini sui falsi positivi e riducendo le perdite per frode.

Monitoraggio dei sensori delle apparecchiature

Molti tipi di apparecchiature, veicoli e macchine ora hanno sensori incorporati. Per esempio, il proprio smartphone ne ha molti, tra cui sensori di luce ambientale e retroilluminati, accelerometri, bussole digitali, giroscopi, sensori di prossimità, NFC, GPS e impronte digitali. Il monitoraggio delle uscite dei sensori può essere cruciale per rilevare e prevenire guasti e interruzioni.

I produttori orientati ai dati sono in grado di tenere traccia di tutti i veicoli, le apparecchiature e le macchine in tempo reale con i dispositivi Internet of Things (IoT) connessi. Possono monitorare tutti i dati in uscita con una soluzione di rilevamento delle anomalie per prevenire costosi guasti e interruzioni. Inoltre, riescono a identificare pattern di dati anomali che possono indicare problemi imminenti utilizzando algoritmi di apprendimento non supervisionato come gli autocodificatori.

Frodi sulle richieste di rimborso sanitarie

Le frodi assicurative sono comuni nel settore sanitario e ammontano a miliardi di dollari pagati ai truffatori. È vitale per le compagnie di assicurazione identificare le richieste fraudolente per garantire che non venga effettuato alcun pagamento a utenti fraudolenti. Negli ultimi anni, molte aziende hanno investito enormemente nella big data analytics per creare modelli supervisionati, non supervisionati e semisupervisionati per rilevare le frodi assicurative.

Con la big data analytics e le capacità di rilevamento delle anomalie, i fornitori di servizi sanitari e assicurativi possono creare modelli supervisionati, non supervisionati e semisupervisionati per ridurre la probabilità di frode sanitaria per ogni richiesta presentata.

Difetti di fabbricazione

Alcune aziende monitorano continuamente i dati dei sensori sui componenti prodotti con un modello autocodificatore. Man mano che il modello registra nuovi dati, i tecnici rilevano e risolvono rapidamente eventuali difetti (anomalie) nel momento stesso in cui si verificano.

Controllare manualmente i difetti e le anomalie può far perdere tempo e aumentare i costi ai produttori; per questo molte aziende leader stanno iniziando a usare gli autocodificatori. Esse possono utilizzare i dati dei sensori sui componenti fabbricati per monitorare e rilevare qualsiasi evento insolito in tempo reale, utilizzando un modello autocodificatore.

Altri casi d'uso

Oltre a questi casi d'uso più comuni, molti altri settori utilizzano il rilevamento delle anomalie:

• Sorveglianza militare: riconoscimento delle immagini
• Sicurezza informatica: rilevamento delle intrusioni
• Sistemi di sicurezza: rilevamento dei guasti
• Protezione dalla pirateria informatica: rilevamento di traffico di rete anomalo
• Meteo: implicazioni di un'ondata di calore o di freddo
• Risonanza magnetica per immagini: implicazione di Alzheimer o di tumore maligno
• Sensori del veicolo spaziale: identificazione dei componenti difettosi

Come si presenta il futuro per il rilevamento delle anomalie?

Oggi i dati sono sempre più in crescita e le aziende stanno raccogliendo più informazioni che mai, con previsioni che calcolano una crescita dei dati ancora maggiore in futuro. Con una tale ricchezza di dati, le aziende devono essere in grado di tracciare i pattern e, cosa più importante, rilevare le anomalie per evitare grossi insuccessi aziendali, come apparecchiature malfunzionanti, frodi e difetti.

Rilevare anomalie nei pattern di dati può aiutare le aziende a scoprire informazioni concrete e a diventare più efficienti e competitive nell'era digitale. Con i software della scienza dei dati, le organizzazioni possono utilizzare modelli di machine learning per specificare il comportamento previsto, monitorare i nuovi dati e trovare comportamenti inaspettati per ottenere risultati aziendali migliori.

Dove potrebbe portarci il rilevamento delle anomalie? Con l'uso crescente del machine learning e dell'intelligenza artificiale, il rilevamento delle anomalie delle macchine o dei sensori non sarà l'unico caso d'uso importante. Gli esperti prevedono che il rilevamento delle anomalie continuerà a crescere di importanza nella videosorveglianza, nella diagnostica sanitaria e molto altro.