O que é gerenciamento de dados de referência?

O gerenciamento de dados de referência é o processo de gerenciamento de classificações e hierarquias entre sistemas e linhas de negócios. Ele pode incluir a realização de análises em dados de referência, rastreamento de mudanças para dados de referência , distribuição de dados de referência e muito mais. Para um gerenciamento de dados de referência eficaz, as empresas devem definir políticas, estruturas e padrões para controlar e gerenciar os dados de referência internos e externos.

Depois de ganhar grande destaque em 2012, o Gerenciamento de Dados de Referência (Reference Data Management (RDM) em inglês) se tornou um elemento-chave no Master Data Management ( MDM ). O RDM fornece os processos e tecnologias para reconhecer, harmonizar e compartilhar conjuntos de dados codificados e relativamente estáticos para "referência" por vários grupos (pessoas, sistemas e outros domínios de dados principais). Esse sistema fornece governança, processo, segurança e controle de auditoria em torno do domínio dos dados de referência. Além disso, os sistemas RDM também gerenciam mapeamentos complexos entre diferentes representações de dados de referência e diferentes domínios de dados em toda a empresa. A maioria dos sistemas RDM contemporâneos também fornece conectividade, normalmente uma camada de serviço de arquitetura orientada a serviços (SOA) (também conhecida como microsserviços ), para compartilhamento de dados de referência com aplicativos corporativos, ciência analítica / dados e aplicativos de governança.

Por que o gerenciamento de dados de referência é tão importante?

Antes da disponibilidade de soluções RDM comerciais, as empresas construíam soluções personalizadas usando os softwares existentes, como RDBMS, planilhas, software de workflow ( gerenciamento de processos de negócios ou BPM) e outras ferramentas. Esses sistemas geralmente careciam de gerenciamento de mudanças, controles de auditoria e segurança / permissões granulares. Como resultado, essas soluções legadas trazem cada vez mais riscos de conformidade. Como os dados de referência são usados para conduzir os principais processos de negócios e a lógica do aplicativo, os erros nos dados de referência podem ter um forte impacto negativo e multiplicativo nos negócios. As incompatibilidades nos dados de referência podem: (1) impactar a qualidade dos dados; (2) afetar a integridade dos relatórios de BI; e, (3) também são uma fonte comum de falha de integração de aplicativos. Assim como as empresas não constroem mais seus próprios sistemas CRM, ERP e MDM, as empresas estão também começando a adquirir soluções comerciais RDM ou RDG, que podem ser facilmente adaptadas ou configuradas e têm o suporte total e contínuo de um grande fornecedor de software.

Quais são os benefícios do gerenciamento de dados de referência?

Um benefício do gerenciamento de dados de referência é que, ao centralizar o controle, você pode garantir que a consistência e a conformidade sejam mantidas. Ele ajuda as equipes de negócios a acessar, distribuir e atualizar dados de referência em vários sistemas de maneira consistente e controlada para atender às necessidades de negócios. O gerenciamento eficaz de dados de referência pode permitir que uma empresa amplie suas operações e processos analíticos. Ele pode fornecer a capacidade de reagir rapidamente a novos requisitos de dados ou mudanças de mercado sem reestruturar todos os dados da empresa.

O gerenciamento de dados de referência pode trazer consistência aos seus dados. Gerenciando cada versão dos dados de referência e conectando-os por meio de tabelas de correspondência, as empresas podem alcançar consistência semântica ao longo do tempo e entre diferentes padrões. Sem essa consistência, as organizações sofreriam com dados de baixa qualidade e pequenos erros que poderiam se tornar erros caros a longo prazo.

Critérios de avaliação de gerenciamento de dados de referência

1. Capacidade de mapear dados de referência : além dos conjuntos de dados de referência canônicos (códigos de país, moedas, idiomas, etc.), um hub RDM deve ser capaz de gerenciar aplicativos específicos, seja da indústria como de caso de uso, novas versões e adaptações locais (por exemplo, versões em idiomas estrangeiros). Além disso, os relacionamentos entre os conjuntos de dados de referência e todas essas permutações precisam ser gerenciados.
2. Administração de tipos de dados de referência : um dos problemas comuns com soluções de dados de referência desenvolvidas internamente é que um único modelo de dados não pode representar facilmente os muitos tipos diferentes de dados de referência. O modelo de dados precisa ser estendido para suportar novos conjuntos de dados de referência e novas propriedades específicas para os diversos tipos de dados de referência que estão sendo gerenciados.
3. Gerenciamento e experiência do usuário de conjuntos de dados de referência : as soluções RDM devem ser projetadas com o usuário empresarial em mente. Ao fornecer interfaces de usuário intuitivas e um modelo de dados flexível, uma empresa pode rapidamente instalar, configurar e importar dados de referência com necessidade mínima de envolvimento contínuo de TI.
4. Arquitetura / desempenho : devido à natureza altamente relacionada dos dados de referência, o modo semântico é útil para gerenciar os relacionamentos entre os conjuntos de dados de referência e ao longo do tempo. Claramente, a necessidade de documentar dados de referência e suas conexões complexas com outros domínios exige que a plataforma tenha modelagem de dados ou uma semântica robusta.
5. Gerenciamento de hierarquia em conjuntos de dados de referência : as tabelas de códigos de referência podem ser listas simples ou hierarquias. A estrutura hierárquica é um aspecto-chave dos dados de referência que precisa ser gerenciado além dos valores e relacionamentos de mapeamento.
6. Conectividade : é vital que uma solução RDM forneça vários meios flexíveis de conexão para fornecer o máximo de "acessibilidade". Os dados de referência devem ser facilmente disponibilizados para sistemas de aplicativos downstream, assinantes remotos, etc. Além disso, cada consumidor de dados RDM deve ser capaz de acessar os dados em um meio e formato que seja mais conveniente para eles.
7. Importar e exportar : uma solução RDM deve permitir a importação e exportação de dados de referência em vários formatos. Por exemplo, para mapeamentos de entrada e saída de ou para definições de dados, origens e destinos, como arquivos simples ou bancos de dados, bem como formatos CSV e XML.
8. Suporte para controle de versão : as soluções RDM também devem oferecer suporte para controle de versão de conjuntos de dados de referência e mapeamentos relacionados. Esse controle de versão é usado em conjunto com o gerenciamento do ciclo de vida para gerenciar mudanças nos conjuntos de dados de referência e mapeamentos ao longo do tempo.
9. Segurança e controle de acesso : as soluções RDM modernas fornecem uma segurança robusta baseada em funções. Por exemplo, o acesso CRUD a uma determinada entidade deve ser controlado pela função do usuário, o grupo do qual o usuário é membro e a propriedade relacionada da entidade, mais o estado do ciclo de vida da própria entidade.
10. Gerenciamento de ciclo de vida de ponta a ponta : as soluções de RDM devem empregar governança UI e processos de workflow para fornecer suporte para governança formal de dados de referência, colocando o gerenciamento de ciclo de vida de ponta a ponta (E2E) de dados de referência corporativos nas mãos dos usuários de negócios - reduzindo sobrecarregar a TI e melhorando a qualidade geral dos dados usados em toda a organização.