¿Qué es la detección de anomalías?

Una anomalía es un cambio inesperado o una desviación de un patrón esperado en un conjunto de datos. La detección de anomalías se utiliza para alertar sobre comportamientos anormales porque las anomalías muestran que está sucediendo algo diferente de lo esperado.

Las anomalías no son necesariamente buenas ni malas, pero las empresas deben conocer cualquier ruptura en el patrón para evaluar si necesitan tomar medidas o no.

Las empresas generan millones de puntos de datos durante las operaciones diarias, pero mucha de esa valiosa información no se utiliza y se olvida. Es por eso que la detección de anomalías está ganando importancia en el mundo de los negocios: para optimizar las operaciones y agilizar los procesos para un futuro más predecible.

¿Cuál es la diferencia entre anomalías y valores atípicos?

Muchos usuarios comerciales usan los términos anomalía y valor atípico indistintamente, pero existen diferencias clave. Las anomalías son similares, pero no idénticas a los valores atípicos.

Asumiendo que todos los datos son generados por un conjunto de procesos, los valores atípicos son puntos con una baja probabilidad de ocurrencia dentro de un conjunto de datos determinado. Son puntos de observación, diferentes de otras observaciones dentro de la población normal. Sin embargo, los valores atípicos no representan necesariamente un comportamiento anormal o un comportamiento que ocurrió debido a un proceso diferente. Los valores atípicos son generados por el mismo proceso pero ocurren con una menor probabilidad.

Por el contrario, las anomalías son patrones generados por diferentes procesos. Estos diferentes procesos pueden alertar a una empresa de que algo ha cambiado y puede requerir una acción adicional, como la falla del equipo.

A veces, se necesita juicio y experiencia en la materia para determinar qué categoría representa un punto de datos en particular.

¿Cuál es el valor de la detección de anomalías?

Todos los días, las empresas generan volúmenes masivos de datos. Si se aprovechan correctamente, esos datos pueden ayudar a las empresas a tomar mejores decisiones, más rápido. Una forma es a través de la detección de anomalías, que puede evitar que un problema menor se convierta en un problema generalizado que consuma mucho tiempo. Mediante el uso de los últimos métodos de Machine Learning, las empresas pueden realizar un seguimiento de las tendencias, identificar oportunidades y amenazas, y obtener una ventaja competitiva con la detección de anomalías.

¿Como funciona?

Existen muchas capacidades y soluciones tecnológicas que se pueden utilizar para detectar anomalías en tiempo real, o incluso predecirlas, en algunos casos.

Descubrimiento visual

Los analistas empresariales o de datos crean visualizaciones de datos para encontrar comportamientos inesperados, lo que a menudo requiere conocimientos comerciales previos y pensamiento creativo para encontrar las respuestas con las visualizaciones de datos correctas. Las visualizaciones avanzadas como las generadas a partir de componentes principales, TSNE y UMAP pueden hacer que los datos de alta dimensión sean accesibles a través de mapas de menor dimensión.

Aprendizaje supervisado

El aprendizaje supervisado utiliza personas con conocimientos empresariales en una industria en particular que etiquetan un conjunto de puntos de datos como normales o anómalos. Luego, un analista utiliza estos datos etiquetados para crear modelos de Machine Learning para predecir anomalías en datos nuevos sin etiquetar.

Aprendizaje no supervisado

Los datos sin etiquetar se utilizan para construir modelos de Machine Learning no supervisados para predecir nuevos datos. Como el modelo está diseñado para ajustarse a los datos normales, se destaca la pequeña cantidad de puntos de datos que son anómalos.

Técnicas de series de tiempo

Las anomalías se detectan a través de análisis de series de tiempo con modelos que capturan tendencias, estacionalidad y niveles en datos de series de tiempo. Cuando los datos nuevos difieren demasiado del modelo, se indica una anomalía o una falla del modelo.

Codificadores automáticos y Machine Learning

Las últimas técnicas de Machine Learning y codificadores automáticos detectan y responden ante anomalías en tiempo real. Una red neuronal puede predecir anomalías a partir de transacciones y fuentes de datos de sensores.

Agrupamiento

Los analistas pueden intentar clasificar cada punto de datos en uno de los muchos grupos predefinidos o descubiertos; los casos que no caen en grupos conocidos pueden considerarse anomalías.

¿Cómo se utiliza actualmente la detección de anomalías?

En casi todas las industrias, existen muchos casos de uso comercial importantes para la detección de anomalías. Algunos de los ejemplos más comunes se encuentran en seguros, servicios financieros, atención médica y manufactura:

• Delitos financieros
• Sensores de equipos
• Fraude de atención médica
• Defectos de fabricación

Lucha contra el crimen financiero

En finanzas, miles de millones de dólares en transacciones se ejecutan cada minuto. La identificación de transacciones sospechosas en tiempo real puede proporcionar a las organizaciones una ventaja competitiva. Para identificar transacciones anormales, los clientes, proveedores y empresas financieras líderes han adoptado cada vez más el análisis de Big Data, incluidas técnicas de Machine Learning, para detectar anomalías entre el voluminoso mar de datos que se genera.

Además, las empresas financieras líderes pueden controlar los costos con la detección de anomalías para ahorrar al eliminar las investigaciones de falsos positivos y reducir las pérdidas por fraude.

Sensores de equipos de monitoreo

Muchos tipos de equipos, vehículos y máquinas ahora tienen sensores incorporados. Por ejemplo, su teléfono inteligente tiene muchos, como sensores de luz ambiental y retroiluminados, acelerómetros, brújulas digitales, giroscopios, proximidad, NFC, GPS y sensores de huellas dactilares. Monitorear las salidas de los sensores es crucial para detectar y prevenir averías e interrupciones.

Los fabricantes basados en datos pueden realizar un seguimiento de todos sus equipos, vehículos y máquinas en tiempo real con dispositivos conectados al internet de las cosas (IoT). Pueden monitorear todas sus salidas con una solución de detección de anomalías para evitar interrupciones y averías costosas. Además, pueden identificar patrones de datos anómalos que pueden indicar problemas inminentes al emplear algoritmos de aprendizaje no supervisados como codificadores automáticos.

Fraude de reclamos de atención médica

El fraude de seguros es común en la industria de la salud y asciende a miles de millones de dólares que se pagan a los estafadores. Es fundamental que las compañías de seguros identifiquen las reclamaciones fraudulentas para garantizar que no se realice ningún pago a cuentas fraudulentas. En los últimos años, muchas empresas han invertido mucho en análisis de Big Data para crear modelos supervisados, no supervisados y semisupervisados para detectar fraudes de seguros.

Con análisis de Big Data y las capacidades de detección de anomalías, los proveedores de atención médica y de seguros pueden crear modelos supervisados, no supervisados y semisupervisados para reducir la probabilidad de fraude en la atención médica por cada reclamo presentado.

Defectos de fabricación

Algunas empresas monitorean continuamente los datos de los sensores en los componentes fabricados con un modelo de codificador automático. A medida que el modelo obtiene nuevos datos, los técnicos detectan y resuelven rápidamente cualquier defecto (anomalía) en el momento en que ocurre.

La verificación manual de defectos y anomalías puede hacer perder tiempo y aumentar los costos para los fabricantes, razón por la cual muchos fabricantes líderes están comenzando a usar codificadores automáticos. Las empresas pueden usar los datos de los sensores en los componentes fabricados para monitorear y detectar eventos inusuales en tiempo real, utilizando un modelo de codificador automático.

Más casos de uso

Más allá de estos casos de uso más comunes, muchas otras industrias también utilizan la detección de anomalías:

• Vigilancia militar: reconocimiento de imágenes
• Ciberseguridad: Detección de intrusos
• Sistemas de seguridad: Detección de averías
• Protección contra piratería: Detección de tráfico de red irregular
• Clima: consecuencias de la ola de calor o la ola de frío
• Imágenes de resonancia magnética: implicación de la enfermedad de Alzheimer o tumor maligno
• Sensores de naves espaciales: identificación de componentes defectuosos

¿Cómo se ve el futuro para la detección de anomalías?

Los datos actuales crecen cada vez más y las empresas recopilan más información que nunca, con predicciones que calculan un crecimiento de datos aún mayor en el futuro. Con una gran cantidad de datos, las empresas deben poder rastrear patrones y, lo que es más importante, detectar anomalías para evitar fallas comerciales importantes, como fallas en el funcionamiento del equipo, fraude y defectos.

La detección de anomalías en los patrones de datos puede ayudar a las empresas a descubrir información procesable y ser más eficientes y competitivas en la era digital. Con el software de la ciencia de datos, las organizaciones pueden usar modelos de Machine Learning para especificar el comportamiento esperado, monitorear nuevos datos y encontrar comportamientos inesperados para obtener mejores resultados comerciales.

¿Adónde podría llevarnos la detección de anomalías a continuación? Con el uso cada vez mayor del Machine Learning y la inteligencia artificial, la detección de anomalías de máquinas o sensores no será el único caso de uso importante. Los expertos predicen que la detección de anomalías seguirá cobrando importancia en la videovigilancia, el diagnóstico sanitario y mucho más.