¿Qué es la gestión de metadatos?

La gestión de metadatos es la disciplina comercial de gestionar los metadatos sobre los datos. Da significado y describe los activos de información en su organización. Los metadatos desbloquean el valor de sus datos al mejorar la facilidad de uso y localización de esos datos. Los metadatos proporcionan el contexto necesario para comprender y gobernar sus sistemas, sus datos y su negocio. Al usar la gestión de metadatos, es más fácil encontrar y usar datos y proporcionar el contexto de datos críticos que su empresa y sus equipos de TI necesitan.

Los metadatos brindan información básica sobre los datos, incluido el tipo de archivo, la hora de creación, el tamaño del archivo, el autor y más. Hay varios tipos distintos de metadatos, incluidos metadatos descriptivos, metadatos estructurales, metadatos administrativos, metadatos de referencia y metadatos estadísticos que brindan información única sobre sus datos. Puede crear metadatos de forma manual o automática. La creación manual de metadatos permite más detalles, mientras que la creación automática generalmente contiene solo información muy básica. En general, cuanto más importante es el activo de información, más importante es administrar los metadatos que lo rodean. Esto se debe a que desea obtener más información sobre cómo utilizar ese valioso recurso de información. Si el activo de información no es tan importante, no se necesitan muchos metadatos.

Una estrategia sólida de gestión de metadatos asegura que los datos de una organización sean de alta calidad, consistentes y precisos en varios sistemas. Es más probable que las organizaciones que utilizan una estrategia integral de gestión de metadatos tomen decisiones comerciales basadas en datos correctos que aquellas que no cuentan con una solución de gestión de metadatos. Es un componente importante de cualquier iniciativa de gobierno de datos.

¿Por qué las organizaciones quieren documentar y administrar sus metadatos?

La mayoría de las organizaciones tienen una arquitectura de información que se asemeja a una librería sobrecargada y completamente desorganizada. Hay datos por todas partes. La mayoría de los datos de las organizaciones no están organizados ni catalogados, lo que hace que sea extremadamente difícil encontrar lo que están buscando.

Ese es el problema central: la falta de capacidad de encontrar datos y, por lo tanto, la falta de usabilidad de los datos. Y ese problema solo está creciendo. Las organizaciones pueden pasar de gigabytes a terabytes a petabytes en el lapso de 10 años. En una época en la que “los datos son el nuevo petróleo”, las organizaciones exitosas deben poder encontrar y utilizar todos sus datos para obtener una ventaja competitiva. Las capacidades descriptivas y de búsqueda de la gestión de metadatos son cruciales para encontrar y utilizar con éxito esos datos.

La gestión de metadatos también es importante porque las definiciones pueden cambiar según el contexto de la información. Observe cómo diferentes grupos pueden pensar y definir el término "cliente", por ejemplo, si habla con personas de TI, Ventas o Cumplimiento, pueden tener diferentes percepciones o puntos de vista sobre lo que representan los clientes y cómo se almacenan esos datos. Para TI, los datos sobre los clientes pueden centrarse en realizar informes analíticos y paneles para la empresa y los aspectos muy técnicos del almacenamiento de esos datos. Si le pide a TI que defina dónde se encuentran los datos del "cliente", es posible que responda que "está en nuestro almacén de datos empresarial que usamos para generar informes, desde 2015. Excepto que también tenemos datos de clientes en el lago de datos que provienen del nueva adquisición. Esos datos están en el lago de datos y deben transformarse antes de que hagamos los informes”. Entonces, para ellos, los datos del "cliente" pueden estar muy enfocados en el análisis o contener una mirada retrospectiva histórica.

Su equipo de ventas puede estar más centrado en las operaciones, como la forma en que utilizan los datos de los clientes en sus ventas hoy. Para ellos, los datos del cliente pueden significar solo clientes activos o los datos del cliente a nivel de cuenta (como el nombre de la empresa), a diferencia de todos los clientes que la empresa haya tenido alguna vez. Los equipos de ventas pueden referirse a los datos del cliente como el nombre de la empresa en lugar de los datos a nivel de personas. Y Cumplimiento puede pensar en los datos de los clientes a nivel de personas porque su uso principal de los datos es cumplir con las regulaciones, como GDPR.

Como puede ver, el desafío no es solo con las definiciones, sino que es la inconsistencia de las definiciones entre estos diferentes equipos y procesos. Además, los datos crecen y crecen. Necesita poder encontrar sus datos para hacer su mejor análisis. En operaciones, desea comprender todas las diferentes aplicaciones y de dónde obtienen sus datos. Para el cumplimiento, desea asegurarse de que la organización se adhiera a las reglas, y para TI, se preocuparán principalmente por producir análisis y mantener un registro histórico.

La gestión de metadatos le permite brindar a cada parte de su organización los metadatos que necesita para comprender y gobernar sus sistemas, sus datos, toda su organización y una vista uniforme de los datos en toda la organización. Esta es la única forma en que una organización podrá realizar funciones correctamente y garantizar que, en última instancia, está haciendo las cosas bien.

Casos de uso de gestión de metadatos

La gestión de metadatos ayuda a diferentes personas en su organización a responder sus preguntas particulares y al mismo tiempo garantiza que se adhieran a una vista coherente de los datos.

• Análisis: para obtener análisis más detallados, los usuarios buscan, comprenden y proporcionan datos mediante catálogos de datos de autoservicio y flujos de trabajo gobernados para sus programas de análisis. Puede ayudarlo a responder preguntas como "¿Cuál es el mejor conjunto de datos de ventas para mi trabajo de análisis?"
• Operaciones: para optimizar las operaciones, los equipos descubren, recolectan y administran todos los activos de metadatos empresariales y linajes de datos para mejorar la calidad de las operaciones. Puede ayudar a responder preguntas como "¿Qué sistemas están involucrados en el cumplimiento de los pedidos de los clientes?"
• Cumplimiento: para cumplir con los mandatos regulatorios (GDPR, CCPA, BCBS 239, y otros), puede respaldar sus programas de cumplimiento con capacidades de gobierno de datos, incluida la privacidad de datos. Los equipos de gobierno de datos pueden identificar elementos de datos críticos, definiciones de documentos e informar sobre el cumplimiento. Puede ayudar a responder la pregunta "¿Dónde almacenamos y procesamos la información personal?"

Capacidades de una solución de gestión de metadatos

El software integral de gestión de metadatos es una solución única que captura y administra todos sus metadatos en un solo lugar. Las capacidades que debe buscar en su solución deben incluir:

• Servicio de gestión de metadatos: descubra, recopile y administre todos sus metadatos en un solo lugar para elementos como definiciones de negocios, glosarios, reglas.
• Solución de gobierno de datos: documente y respalde sus políticas de gobierno y esfuerzos de cumplimiento normativo.
• Catálogo de datos: catalogue todos los datos físicos sobre los sistemas subyacentes que albergan los activos de datos críticos para la búsqueda, la colaboración y el aprovisionamiento de acceso a ellos.
• Disponible como servicio: 100 % SaaS y fácil de aprovisionar.

Una solución integral permitirá la gestión de metadatos de extremo a extremo. Eso incluye:

• Descubrimiento y extracción: automatice la recopilación de metadatos de sus sistemas locales o en la nube.
• Almacén de metadatos: un único almacén de metadatos para todos sus metadatos comerciales y técnicos.
• Clasificación y linaje: clasificación impulsada por el aprendizaje automático de activos de metadatos a elementos de datos y linaje visual.
• Gobierno y seguridad: glosario empresarial, políticas de gobierno de datos y cumplimiento normativo, todo en una plataforma.
• Búsqueda y colaboración: busque en todo el catálogo de datos. Colabora con comentarios, calificaciones y etiquetas.
• KPI de calidad de datos: haga un seguimiento de los indicadores clave de calidad de datos en todos sus metadatos.
• Integración y aprovisionamiento: exponga los metadatos como un servicio. Proporcione el acceso a los datos a través del catálogo.

Cómo la gestión de metadatos fomenta la colaboración

Si una organización quiere alcanzar un cierto nivel de alfabetización de datos, los diferentes tipos de personas en su organización deben colaborar. La alfabetización de datos requiere un esfuerzo de equipo. No es algo que los equipos individuales puedan hacer solos y esperar llegar al mismo lugar. Necesita una solución para gobernarlo todo y permitir que los administradores de datos interactúen con los usuarios de datos.

Veamos cómo los diferentes equipos utilizan la gestión de metadatos. Por ejemplo, los equipos de Gobernanza pueden estar más preocupados por las definiciones y el cumplimiento normativo, pero deben trabajar mano a mano con el equipo de TI. Los equipos de TI pueden estar catalogando los sistemas físicos que almacenan la información, documentando los diferentes controles y la seguridad que han envuelto en ese sistema, trabajando con los diferentes equipos que administran el sistema para asegurarse de que todos hayan recibido capacitación sobre privacidad y cumplimiento, pero necesitan interactuar con el equipo de Cumplimiento. Luego, están los usuarios de análisis que consumen una gran cantidad de esos datos y quieren asegurarse de que cumplen con las políticas de gobierno y siguen los protocolos que han establecido los equipos de seguridad y TI. Tiene que haber interacción entre todos estos equipos en varios momentos.

En pocas palabras: busque una solución de gestión de metadatos que tenga procesos de gobierno colaborativo que incluyan: flujos de trabajo, administración, control de versiones y registros de auditoría.

Hoy en día, muchos de sus metadatos están separados entre múltiples aplicaciones y sistemas. Esto da como resultado una falta de conexión entre los silos de metadatos. Por ejemplo, algunas empresas utilizarán algunas aplicaciones para ETL y almacenarán sus metadatos en consecuencia. Tienen otras aplicaciones enfocadas en el gobierno de datos y almacenan esos datos en consecuencia. Tienen otras aplicaciones que almacenan información del catálogo de datos y la almacenan por separado. Toda esa información está conectada y debe estar en un solo lugar para permitir una mejor integración, una mejor consistencia y un mejor control a través de una solución integral de gestión de metadatos.

Gestión de metadatos y AI

Se está produciendo un cambio en la gestión de metadatos debido a los dispositivos perimetrales, IoT y AI. Existe una mayor necesidad de usar esos metadatos para extraer valor adicional de los datos.

La influencia de los metadatos en los entornos de producción (y la productividad) dependerá cada vez más de la catalogación de sus diversos tipos, el mapeo, el modelado de datos, el aprendizaje automático y la computación perimetral. Quienes tengan éxito en la puesta en funcionamiento de metadatos en estas áreas se beneficiarán de la gestión de metadatos.

Los algoritmos integrados de inteligencia artificial (AI) y aprendizaje automático (ML) facilitan la clasificación de metadatos y los linajes de datos (horizontal, vertical, reglamentario). Proporcione el contexto de datos, la coherencia y el control que necesita para lograr la mayor eficiencia, el mejor rendimiento y la toma de decisiones más inteligente en todos sus equipos y departamentos.