O que é o gerenciamento de metadados?

O gerenciamento de metadados é a disciplina de negócios do gerenciamento de metadados de dados. Ele dá significado e descreve os ativos de informação em sua organização. Os metadados revelam o valor de seus dados melhorando a usabilidade e a localização desses dados. Os metadados fornecem o contexto necessário para entender e controlar seus sistemas, seus dados e seus negócios. Ao usar o gerenciamento de metadados, é mais fácil encontrar e usar dados e fornecer o contexto de dados crítico que seus negócios e equipes de TI exigem.

Os metadados fornecem informações básicas sobre os dados, incluindo tipo de arquivo, hora de criação, tamanho do arquivo, autor e muito mais. Existem vários tipos distintos de metadados, incluindo metadados descritivos, metadados estruturais, metadados administrativos, metadados de referência e metadados estatísticos que fornecem informações exclusivas sobre seus dados. Você pode criar metadados manualmente ou automaticamente. A criação manual de metadados permite mais detalhes, enquanto a criação automática geralmente contém apenas informações muito básicas. Geralmente, quanto mais importante o ativo de informação, mais importante é gerenciar os metadados em torno dele. Isso ocorre porque você deseja obter mais informações sobre como usar esse valioso ativo de informações. Se o ativo de informação não for tão importante, não serão necessários muitos metadados.

Uma estratégia robusta de gerenciamento de metadados garante que os dados de uma organização sejam de alta qualidade, consistentes e precisos em vários sistemas. As organizações que usam uma estratégia abrangente de gerenciamento de metadados são mais propensas a tomar decisões de negócios com base em dados corretos do que aquelas que não possuem uma solução de gerenciamento de metadados implementada. É um componente importante de qualquer iniciativa de governança de dados.

Por que as organizações desejam documentar e gerenciar seus metadados?

A maioria das organizações tem uma arquitetura de informações que se assemelha a uma livraria superlotada e completamente desorganizada. Há dados em todos os lugares. Os dados da maioria das organizações não são organizados ou catalogados, tornando extremamente desafiador encontrar o que estão procurando.

Esse é o problema central: falta de localização de dados e, portanto, falta de usabilidade de dados. E esse problema só está crescendo. As organizações podem passar de gigabytes para terabytes para petabytes em um período de 10 anos. Em uma época em que “os dados são o novo petróleo”, as organizações bem-sucedidas devem ser capazes de encontrar e usar todos os seus dados para obter uma vantagem competitiva. Os recursos descritivos e de pesquisa do gerenciamento de metadados são cruciais para encontrar e usar esses dados com sucesso.

O gerenciamento de metadados também é importante porque as definições podem mudar dependendo do contexto da informação. Veja como diferentes grupos podem pensar e definir o termo “cliente”, por exemplo: se você conversar com pessoas de TI, Vendas ou Compliance, elas podem ter percepções ou visões diferentes sobre o que os clientes representam e como esses dados são armazenados. Para a TI, os dados sobre os clientes podem se concentrar na execução de relatórios e painéis analíticos para a empresa e nos aspectos técnicos do armazenamento desses dados. Se você pedir à TI para definir onde os dados do “cliente” estão localizados, eles podem responder que “é em nosso data warehouse corporativo que usamos para relatórios, desde 2015. Exceto que também temos dados do cliente no data lake que veio com uma nova aquisição, e eles precisam ser transformados antes de fazermos os relatórios.” Portanto, para eles, os dados do “cliente” podem ser muito focados em análises ou conter uma retrospectiva histórica.

Sua equipe de vendas pode estar mais focada nas operações; por exemplo, como eles estão usando os dados do cliente em suas vendas hoje. Para eles, os dados do cliente podem significar apenas clientes ativos ou os dados do cliente no nível da conta (como o nome da empresa), em oposição a todos os clientes que a empresa já teve. As equipes de vendas podem se referir aos dados do cliente como o nome da empresa em vez dos dados no nível das pessoas. E o Compliance pode pensar nos dados do cliente no nível das pessoas porque o principal uso dos dados é cumprir os regulamentos, como o GDPR.

Como você pode ver, o desafio não está apenas nas definições, mas na inconsistência das definições entre essas diferentes equipes e processos. Além disso, os dados estão crescendo e crescendo. Você precisa ser capaz de encontrar seus dados para fazer sua melhor análise. Nas operações, você deseja entender todos os diferentes aplicativos e de onde eles estão obtendo seus dados. Para conformidade, você deseja garantir que a organização esteja aderindo às regras e, para a TI, eles estarão principalmente preocupados em produzir análises e manter um registro histórico.

O gerenciamento de metadados permite que você forneça a cada parte de sua organização os metadados necessários para entender e controlar seus sistemas, seus dados, toda a sua organização e uma visão consistente dos dados em toda a organização. Essa é a única maneira pela qual uma organização será capaz de desempenhar funções adequadamente e garantir que, em última análise, esteja fazendo as coisas corretamente.

Casos de uso de gerenciamento de metadados

O gerenciamento de metadados ajuda diferentes pessoas em sua organização a responder suas perguntas específicas, ao mesmo tempo em que garante que estejam aderindo a uma visão consistente dos dados.

• Análises: para análises mais perspicazes, os usuários pesquisam, entendem e provisionam dados usando catálogos de dados de autoatendimento e fluxos de trabalho governados para seus programas de análise. Isso pode ajudá-los a responder a perguntas como “Qual é o melhor conjunto de dados de vendas para meu trabalho de análise?”
• Operações: para otimizar as operações, as equipes descobrem, coletam e gerenciam todos os ativos de metadados corporativos e linhagens de dados para melhorar a qualidade das operações. Isso pode ajudar a responder a perguntas como “Quais sistemas estão envolvidos no atendimento de pedidos de clientes?”
• Conformidade: para atender às exigências regulatórias (GDPR, CCPA, BCBS 239 etc.), você pode oferecer suporte a seus programas de conformidade com recursos de governança de dados, incluindo privacidade de dados. As equipes de governança de dados podem identificar elementos de dados críticos, definições de documentos e relatórios sobre conformidade. Pode ajudar a responder à pergunta “Onde armazenamos e processamos informações pessoais?”

Recursos de uma solução de gerenciamento de metadados

O software abrangente de gerenciamento de metadados é uma solução única que captura e gerencia todos os seus metadados em um só lugar. Os recursos a serem procurados em sua solução devem incluir:

• Serviço de gerenciamento de metadados: descubra, colete e gerencie todos os seus metadados em um só lugar para elementos como definições de negócios, glossários, regras.
• Solução de governança de dados: documente e apoie suas políticas de governança e esforços de conformidade regulatória.
• Catálogo de dados: catalogue todos os dados físicos sobre os sistemas subjacentes que hospedam ativos de dados críticos para pesquisa, colaboração e acesso de provisionamento a eles.
• Disponível como serviço: 100% SaaS e facilmente provisionado

Uma solução abrangente permitirá o gerenciamento de metadados de ponta a ponta. Isso inclui:

• Descoberta e extração: automatize a coleta de metadados de seus sistemas locais ou em nuvem
• Armazenamento de metadados: um único armazenamento para todos os seus metadados comerciais e técnicos
• Classificação e linhagem: classificação orientada por aprendizado de máquina de ativos de metadados para elementos de dados e linhagem visual.
• Governança e segurança: glossário de negócios, políticas de governança de dados e conformidade regulatória em uma única plataforma.
• Pesquisa e colaboração: pesquise em todo o catálogo de dados. Colabore com comentários, classificações e tags.
• KPIs de qualidade de dados: acompanhe os principais indicadores de qualidade de dados em todos os seus metadados.
• Integração e provisionamento: exponha metadados como um serviço. Provisione o acesso a dados por meio do catálogo.

Como o gerenciamento de metadados promove a colaboração

Se uma organização deseja atingir um certo nível de capacitação em dados, os diferentes tipos de personas em sua organização precisam colaborar. A capacitação em dados requer um esforço de equipe. Não é algo que equipes individuais possam fazer por conta própria e esperar chegar ao mesmo ponto. Você precisa de uma solução para controlar tudo e permitir que os administradores de dados interajam com os usuários de dados.

Vejamos como diferentes equipes usam o gerenciamento de metadados. Por exemplo, as equipes de Governança podem estar mais preocupadas com definições e conformidade regulatória, mas precisam trabalhar lado a lado com a equipe de TI. As equipes de TI podem catalogar os sistemas físicos que armazenam as informações, documentar os diferentes controles e a segurança que envolvem esse sistema, trabalhar com as diferentes equipes que gerenciam o sistema para garantir que todos tenham recebido treinamento sobre privacidade e conformidade , mas precisam interagir com a equipe de Compliance. Então, você tem os usuários de análise que estão consumindo muitos desses dados e querem garantir que estejam de acordo com as políticas de governança e seguindo os protocolos que as equipes de segurança e TI estabeleceram. É preciso haver interação entre todas essas equipes em vários momentos.

Conclusão: procure uma solução de gerenciamento de metadados que tenha processos de governança colaborativa, incluindo fluxos de trabalho, administração, controle de versão e trilhas de auditoria.

Hoje, muitos dos seus metadados estão separados entre vários aplicativos e sistemas. Isso resulta em uma falta de conexão entre silos de metadados. Por exemplo, algumas empresas usarão alguns aplicativos para ETL e armazenarão seus metadados de acordo. Elas têm outros aplicativos focados na governança de dados e armazenam esses dados de acordo. Elas têm outros aplicativos que armazenam informações do catálogo de dados e armazenam isso separadamente. Todas essas informações estão conectadas e devem estar em um só lugar para permitir melhor integração, melhor consistência e melhor controle por meio de uma solução abrangente de gerenciamento de metadados.

Gerenciamento de metadados e IA

Uma mudança está acontecendo no gerenciamento de metadados devido a dispositivos de borda, IoT e IA. Há uma necessidade maior de usar esses metadados para extrair valor adicional dos dados.

A influência dos metadados nos ambientes de produção (e produtividade) dependerá cada vez mais da catalogação de seus vários tipos, mapeamento, modelagem de dados, aprendizado de máquina e computação de borda. Aqueles bem-sucedidos na operacionalização de metadados nessas áreas lucrarão com o gerenciamento de metadados.

Os algoritmos integrados de inteligência artificial (IA) e aprendizado de máquina (ML) facilitam a classificação de metadados e as linhagens de dados (horizontal, vertical, regulatória). Forneça o contexto de dados, a coerência e o controle de que você precisa para obter a mais alta eficiência, o melhor desempenho e a tomada de decisões mais inteligente em todas as suas equipes e departamentos.