Cos'è la Data Integration?

La Data Integration è il processo di riunire i dati da fonti diverse per fornire agli utenti una visione unificata. La premessa della data integration è di rendere i dati più liberamente disponibili e più facili da consumare ed elaborare da parte dei sistemi e degli utenti. La data integration ben realizzata può ridurre i costi informatici, liberare risorse, migliorare la data quality e promuovere l'innovazione, il tutto senza modifiche radicali alle applicazioni esistenti o alle strutture dei dati. E anche se le società informatiche hanno sempre dovuto procedere all'integrazione, il profitto per farlo non è mai stato così grande come in questo momento.

Le aziende con capacità mature di data integration vantano benefici significativi rispetto alla concorrenza, il che include:

• Maggiore efficienza operativa riducendo la necessità di trasformare e combinare manualmente i set di dati
• Migliore data quality attraverso trasformazioni automatiche dei dati che applicano regole di business ai dati
• Sviluppo di idee più significative attraverso una visione olistica dei dati che può essere analizzata più facilmente

Un business digitale è costruito attorno ai dati e agli algoritmi che li elaborano, ed estrae il massimo valore dalle sue risorse informative - da qualsiasi punto dell'ecosistema aziendale, in qualsiasi momento sia necessario. All'interno di un'azienda digitale, i dati e i servizi correlati fluiscono senza ostacoli, ma in modo sicuro, attraverso il ventaglio di risorse informatiche. La data integration permette una visione completa di tutte le informazioni che circolano in un'organizzazione e prepara i dati per l'analisi.

L'evoluzione della data integration

La portata e l'importanza della Data Integration è completamente cambiata. Oggi, aumentiamo le capacità aziendali sfruttando le applicazioni SaaS standard, continuando al contempo a sviluppare applicazioni personalizzate. Con un ricco ecosistema di partner pronti a sfruttare le informazioni di un'organizzazione, le informazioni sui servizi di un'organizzazione che vengono esposte ai clienti sono ora importanti quanto i servizi stessi. Oggi, integrare le applicazioni SaaS, personalizzate e dei partner e i dati contenuti al loro interno rappresenta un imperativo. Al giorno d'oggi, un'azienda si differenzia per la combinazione di capacità di business in un modo esclusivo. Ad esempio, molte imprese stanno analizzando i dati in movimento e a riposo, utilizzando i loro risultati per generare regole di business, quindi applicando tali regole per rispondere ancora più velocemente ai nuovi dati. Gli obiettivi caratteristici di questo tipo di innovazione riguardano esperienze utente rilevanti e operazioni di business migliorate.

Come funziona la data integration?

Una delle maggiori sfide che le organizzazioni si trovano ad affrontare è cercare di accedere e trovare un senso ai dati che descrivono l'ambiente in cui operano. Ogni giorno, le organizzazioni acquisiscono un numero sempre maggiore di dati, in una varietà di formati, da un numero sempre maggiore di fonti di dati. Le imprese necessitano di un modo che permetta ai dipendenti, agli utenti e ai clienti di acquisire valore da quei dati. Ciò significa che devono essere in grado di raccogliere i dati pertinenti ovunque essi si trovino, allo scopo di sostenere il reporting dell'organizzazione e i processi aziendali.

Tuttavia, i dati necessari sono spesso distribuiti tra applicazioni, database e altre fonti di dati ospitati in sede, nel cloud, su dispositivi IoT o forniti da terze parti. Le aziende non mantengono più i dati semplicemente in un unico database, mentre conservano invece i tradizionali master data e transactional data, così come i nuovi tipi di structured e unstructured data, all'interno di più fonti. Ad esempio, un'impresa potrebbe possedere dati in un file piatto o desiderare accedere ai dati da un servizio web.

L'approccio tradizionale della data integration è noto come approccio fisico di data integration E questo implica il movimento fisico dei dati dal sistema sorgente a un'area di sosta dove la pulizia, la mappatura e la trasformazione avvengono prima che i dati siano fisicamente spostati in un sistema di destinazione, ad esempio, un data warehouse o un data mart. L'altra opzione è l'approccio di Data Virtualization. Questo approccio comporta l'uso di un livello di virtualizzazione per connettersi agli archivi di dati fisici. A differenza dell'integrazione dei dati fisici, la Data Virtualization comporta la creazione di viste virtualizzate dell'ambiente fisico sottostante senza la necessità del movimento fisico dei dati.

Una tecnica comune di data integration è Extract Transform and Load (ETL) dove i dati sono fisicamente estratti da più sistemi sorgente, trasformati in un formato diverso, e caricati in un archivio dati centralizzato.

Considerazioni per una migliore integrazione

Il valore ottenuto dall'implementazione della tecnologia di Data Integration è, prima di tutto, il costo di non dover più integrare manualmente i dati. Ci sono anche altri benefici, tra cui la riduzione per evitare la codifica personalizzata per l'integrazione. Ogni volta che possono, le aziende dovrebbero cercare di utilizzare uno strumento di integrazione erogato da un fornitore piuttosto che scrivere codice di integrazione personalizzato. I motivi per fare ciò sono a) migliore Data Quality, b) prestazioni ottimali c) risparmio di tempo.

Le aziende potrebbero ottenere un valore molto maggiore aggiungendo i seguenti obiettivi aggiuntivi alle loro roadmap di maturità dell'integrazione:

Semplificare lo sviluppo

Scegli una soluzione che ti consenta di creare un catalogo di formati e sottoprocessi da riutilizzare, specialmente i processi non funzionali come la registrazione, i nuovi tentativi, ecc. La capacità di testare qualsiasi logica di integrazione on-the-fly ridurrà anche drasticamente il tempo necessario per l'implementazione e la manutenzione.

Configurazione

I processi di data integration sono configurati per connettere applicazioni e sistemi. Queste configurazioni devono riflettere immediatamente qualsiasi cambiamento, garantire che vengano utilizzati i sistemi giusti e propagare le modifiche nei vari ambienti (sviluppo, test, controllo qualità e produzione). La maggior parte delle aziende riferisce che stanno ancora cambiando i parametri di configurazione manualmente all'interno del loro ambiente di sviluppo integrato (IDE), un processo umano costoso che potrebbe anche comportare la manomissione della logica di integrazione. L'alternativa migliore, l'accesso e la gestione delle variabili negli script o nelle interfacce di distribuzione, permette distribuzioni completamente automatizzate che riducono la durata del progetto.

Testing

I test sono al centro dello sviluppo della data integration. Essi verificano la tecnologia di data integration e i sistemi di destinazione, quindi dovrebbero essere eseguiti immediatamente, non appena lo sviluppatore crea o aggiorna la logica. Tuttavia, è chiaro che la maggior parte delle organizzazioni debba implementare i processi prima di poterli testare, il che causa ritardi. Un IDE che permette il debugging immediato accorcia significativamente lo sviluppo del processo di integrazione. Inoltre, poiché alcuni processi di Data Integration sono così fondamentali, essi bisogno di essere testati in ambienti molto simili all'ambiente di produzione, e gli aggiornamenti ad essi devono essere testati per la non regressione. Questo test richiede la scrittura di scenari di test. Molte aziende devono elaborare questa logica al di sopra della logica del processo d'integrazione, come pure le sonde per acquisire i risultati. Ciò aumenta la durata e i costi dello sviluppo. L'utilizzo di un'API per immettere dati e registrare scenari di test, o una soluzione di test di integrazione, può ridurre notevolmente la durata del progetto.

Stabilire un modello di dati comune

Oltre a porre dei limiti alle tecnologie, la costruzione di un modello di dati comune semplifica le integrazioni future perché tutti i processi di integrazione parleranno la stessa lingua. Anche il business ne sarà aiutato perché i servizi e gli eventi riguardanti gli oggetti di business possono essere creati facilmente, e la sottoscrizione agli eventi adeguati fornisce una maggiore visibilità del business.

Sfruttare gli investimenti precedenti: i benefici che ne derivano

Molte applicazioni legacy rimangono una parte vitale dei processi aziendali e conservano dati importanti da integrare con tutti gli altri sistemi nel vostro ambiente. Sebbene le loro funzionalità di core business forniscano grandi risorse da riutilizzare in altri servizi, nel frattempo molti dei loro componenti e delle loro capacità sono stati sostituiti da altre applicazioni. La data integration può contribuire a inserire i dati dei sistemi legacy in ambienti più moderni.

In generale, si ricorre alla data integration come prerequisito per un'ulteriore elaborazione dei dati, in particolare per le analisi. È necessario riunire i dati per facilitare il reporting analitico e per offrire agli utenti una visione completa e unificata di tutte le informazioni che circolano nella loro organizzazione. Una vera analogia dell'integrazione dei dati è quella di crearli una volta e usarli molte volte. Ad esempio, non si desidera dover inserire manualmente un ordine in un sistema. Si desidera inserirlo una volta e fare in modo che un sistema lo passi ad un altro - è questo il valore principale dell'integrazione dei dati.