O que é o data fabric?

O data fabric é uma solução de gerenciamento e integração de dados de ponta a ponta, que consiste em software de arquitetura, integração e gerenciamento de dados e dados compartilhados. Um data fabric fornece uma experiência de usuário unificada e consistente e acesso a dados para qualquer membro de uma organização em todo o mundo e em tempo real.

O data fabric foi projetado para ajudar as organizações a resolver problemas de dados e casos de uso complexos gerenciando seus dados, independentemente dos vários tipos de aplicativos, plataformas e locais onde os dados são armazenados. O data fabric permite acesso e compartilhamento de dados sem atrito em um ambiente de dados distribuído.

Por que usar um data fabric?

Qualquer organização centrada em dados precisa de uma abordagem holística que supere os obstáculos de tempo, espaço, diferentes tipos de software e localizações de dados. Os dados precisam estar acessíveis aos usuários que precisam deles, não trancados atrás de firewalls ou espalhados em vários locais. As empresas precisam ter um ambiente seguro, eficiente e unificado e uma solução de dados à prova de futuro para prosperar. Um data fabric proporciona tudo isso.

A integração de dados tradicional não atende mais às novas demandas de negócios de conectividade em tempo real, autoatendimento, automação e transformações universais. Embora a coleta de dados de várias fontes geralmente não seja o problema, muitas organizações não podem integrar, processar, selecionar e transformar dados com outras fontes. Essa parte crucial do processo de gerenciamento de dados precisa acontecer para fornecer uma visão abrangente de clientes, parceiros e produtos. Isso dá às organizações uma vantagem competitiva, permitindo que elas atendam melhor às demandas dos clientes, modernizem seus sistemas e aproveitem o poder da computação em nuvem.

O data fabric pode ser pensado como um tecido que envolve o mundo todo, onde quer que os usuários da organização estejam. O usuário pode estar em qualquer lugar e ainda acessar os dados de qualquer local, sem nenhuma restrição, em tempo real.

O data fabric é mais do que apenas uma rede

A internet foi criada para conectar seres humanos em todo o mundo, dando às pessoas a capacidade de ignorar os obstáculos do tempo e da distância. No entanto, inicialmente ela apenas conectava pessoas, e a transferência de dados quantificados era mínima. Hoje, as atividades em plataformas digitais superaram as previsões iniciais, e os dados se tornaram um mundo em si. Qualquer atividade quantitativa, seja online ou na vida real, pode ser classificada como uma atividade de fornecimento de dados. Enquanto esses dados crescem rapidamente, é necessário estabelecer uma infraestrutura para gerenciá-los.

Anteriormente, o objetivo era gerenciar dados e, como bônus, extrair informações deles. Com o passar do tempo, o foco começou a mudar de simplesmente gerenciar dados para poder extrair informações desses dados. Com um data fabric, o foco está mudando do simples gerenciamento para o aprimoramento da qualidade dos dados, a disponibilidade das informações e as informações automatizadas derivadas deles.

Por que usar um data fabric?

Em todo o mundo, o número de partes interessadas que entram no ambiente de rede está aumentando. Todos estão conectados à internet e todas as plataformas se tornaram uma fonte de dados. Maximizar o valor dos dados tornou-se um problema complexo. Os desafios dos dados de hoje incluem:

• Localização em vários locais presenciais e na nuvem
• Dados estruturados e não estruturados
• Diferentes tipos de dados
• Diferentes cenários de plataforma
• Manutenção dos dados em diferentes sistemas de arquivos, bancos de dados e aplicativos SaaS

Os dados estão crescendo exponencialmente, então esses problemas estão se multiplicando.

Juntos, esses problemas e variações tornam complexo acessar ou usar dados facilmente. E, se as organizações desejam produzir ou operacionalizar IA e ML, elas precisam que seus dados sejam coletados, transformados e processados.

Hoje, a maioria das organizações tende a lidar com o problema em silos, criando muitas maneiras diferentes de gerenciar os dados em uma organização. Embora essa solução disponibilize os dados para grupos específicos, acessá-los em toda a empresa torna-se quase impossível, muitas vezes subutilizando ou ignorando os dados.

A falta de acesso e uso abrangente dos dados resulta em baixo retorno do investimento na infraestrutura, falta de disponibilidade de dados para produzir previsões úteis e menor produtividade. É nessas condições que o data fabric pode ajudar.

Data fabric vs. status quo

Atualmente, muitas organizações usam data lakes e data warehouses para gerenciar dados. No entanto, em uma inspeção mais detalhada, essas abordagens são intensivas em tecnologia e não centradas em dados. Com data lakes e data warehouses, a ênfase é coletar ou extrair os dados brutos, armazená-los e usá-los quando insights forem obtidos. Essas soluções não foram projetadas com os problemas atuais em mente e dificultam a obtenção de uma visão unificada dos dados. No entanto, essas técnicas geralmente levam a latências e custos crescentes. Com a crescente quantidade de dados e as restrições de tempo com que os tomadores de decisão de uma organização trabalham, atrasos no acesso e no processamento de dados não são desejáveis. Nesses cenários, o data fabric oferece a vantagem de armazenar, extrair e processar dados no ponto de origem em tempo real, permitindo que os tomadores de decisão obtenham insights instantaneamente.

Data fabric vs. virtualização de dados

O data fabric geralmente é confundido com a virtualização de dados. A virtualização de dados cria uma camada de abstração de dados e geralmente é usada quando você precisa integrar dados rapidamente. Ela conecta, reúne e transforma dados de muitas fontes diferentes, seja no local ou na nuvem, em informações ágeis, de autoatendimento e em tempo real. Por outro lado, o data fabric refere-se a uma arquitetura abrangente de gerenciamento de dados de ponta a ponta usada para casos de uso mais amplos, como inteligência do cliente e análise de IoT, incluindo um conjunto maior de componentes de pilha. Os analistas recomendam o uso da virtualização de dados como uma ferramenta que contribui para sua arquitetura de data fabric. À medida que você utiliza mais e mais ferramentas de integração de dados, pode transformar sua solução em um data fabric específico para os objetivos da sua organização.

Implementação do data fabric

O data fabric começa com conceitos de processamento de transações online (OLTP). No processamento transacional online, informações detalhadas sobre cada transação são inseridas, atualizadas e carregadas em um banco de dados. Os dados são estruturados, limpos e armazenados em silos em um centro para uso posterior. Qualquer usuário dos dados, em qualquer ponto da malha, pode pegar os dados brutos e usá-los para obter várias descobertas, ajudando as organizações a aproveitar seus dados para crescer, adaptar-se e melhorar.

A implementação bem-sucedida do data fabric requer:

• Aplicativos e serviços: onde a infraestrutura necessária para aquisição de dados é construída. Isso inclui o desenvolvimento de aplicativos e interfaces gráficas de usuário (GUIs) para que o cliente interaja com a organização.
• Desenvolvimento e integração de ecossistemas: criar o ecossistema necessário para coletar, gerenciar e armazenar os dados. Os dados do cliente precisam ser transferidos para o gerenciador de dados e sistemas de armazenamento de uma maneira que evite a perda de dados.
• Segurança: os dados coletados de todas as fontes devem ser gerenciados com segurança adequada.
• Gerenciamento do armazenamento: os dados são armazenados de maneira acessível e eficiente, com permissão para escalar quando necessário.
• Transporte: construir a infraestrutura necessária para acessar os dados de qualquer ponto nas localizações geográficas da organização.
• Endpoints: desenvolver a infraestrutura definida por software nos pontos de armazenamento e acesso para permitir informações em tempo real.

Como a inteligência artificial ou o aprendizado de máquina funcionam com o data fabric?

Nos primórdios do armazenamento de dados, engenheiros e cientistas de dados tentavam compreender os dados para encontrar padrões. Eles descobriram que, com as técnicas tradicionais de integração de dados, dedicavam a maior parte do tempo à logística dos dados, ao invés de aprender sobre eles. Isso não é sustentável se quisermos obter informações mais rapidamente.

Um data fabric é, essencialmente, uma camada operacional de dados que não apenas reúne todos os dados, mas também os transforma e processa usando aprendizado de máquina para descobrir padrões e informações. Sem um data fabric, tudo isso precisa acontecer em cada aplicativo individual, o que não é uma solução muito sustentável.

Um data fabric pode preparar dados para atender às necessidades de IA e ML automaticamente e em níveis sustentáveis. O aprendizado de máquina pode fornecer os dados e informações de forma proativa, ajudando os tomadores de decisão a ter informações melhores e mais oportunas. O objetivo é descobrir o que está por trás dos dados sem procurar ou solicitar isso especificamente, ao mesmo tempo em que descobrem soluções para problemas ou insights de negócios.

Riscos do data fabric

Uma preocupação crescente para as organizações é a ameaça à segurança dos dados quando estão sendo transportados de um ponto para outro no data fabric. É obrigatório que a infraestrutura para o transporte dos dados incorpore firewalls e protocolos para garantir a segurança contra violações. Com um número crescente de ataques cibernéticos atingindo as organizações, a segurança dos dados em todos os pontos do ciclo é fundamental.

Benefícios do data fabric

O data fabric é ideal para organizações geograficamente diversas, que têm várias fontes de dados e enfrentam problemas de dados ou casos de uso complexos. Lembre-se, um data fabric não é uma resposta rápida para integrar e processar seus dados. Para isso, você pode recorrer à virtualização de dados.

Com os avanços contínuos nos recursos de hardware, a globalização está se expandindo para regiões anteriormente desconectadas. Com as velocidades de conectividade aumentando rapidamente, as organizações podem ficar sobrecarregadas com os dados de dispositivos e serviços. Embora há algum tempo os dados já sejam usados para obter informações, o data fabric fornece uma solução, que engloba:

• Um modelo ágil que permite alterações nos sistemas e se adapta e ajusta conforme necessário, funcionando em todos os sistemas operacionais e de armazenamento
• Escalabilidade com interferência mínima, sem investimento em hardware caro ou pessoal altamente treinado e caro
• Integridade máxima e conformidade com regulamentos, mantendo a acessibilidade e o fluxo de informações em tempo real

As enormes quantidades de dados que as empresas podem acessar precisam ser exploradas para obter insights únicos. Áreas como previsão, otimização de vendas e cadeia de suprimentos, marketing e comportamento do consumidor dão à organização vantagem competitiva e liderança de dados em seu campo. A derivação de informações em tempo real pode posicionar a organização à frente de todas as outras.