¿Qué es la integración de datos?

La integración de datos es el proceso de reunir datos de diferentes fuentes para proporcionar a los usuarios una vista unificada. La premisa de la integración de datos es hacer que los datos estén disponibles más libremente y que los sistemas y los usuarios los consuman y procesen más fácilmente. La integración de datos realizada adecuadamente reducirá los costos de TI, liberará recursos, mejorará la calidad de los datos y fomentará la innovación, todo sin cambios radicales en las aplicaciones o estructuras de los datos existentes. Y aunque las organizaciones de TI siempre han tenido que integrarse, la recompensa por hacerlo nunca ha sido tan grande como ahora.

Las empresas con capacidades maduras de integración de datos tienen ventajas significativas sobre su competencia, que incluye:

• Mayor eficiencia operativa al reducir la necesidad de transformar y combinar manualmente conjuntos de datos
• Mejor calidad de datos a través de transformaciones automatizadas de datos que aplican reglas comerciales a los datos
• Desarrollo de conocimientos más valiosos a través de una vista holística de los datos que se podrán analizar más fácilmente

Una empresa digital se basa en los datos y los algoritmos que los procesan, y extrae el máximo valor de sus activos de información, de cualquier lugar del ecosistema empresarial, en cualquier momento que sea necesario. Dentro de una empresa digital, los datos y los servicios relacionados fluyen sin obstáculos, pero de forma segura, a través del panorama de TI. La integración de datos permite una vista completa de toda la información que fluye a través de una organización y prepara sus datos para su análisis.

La evolución de la integración de datos

El alcance y la importancia de la integración de datos cambió por completo. Hoy, aumentamos las capacidades comerciales aprovechando las aplicaciones SaaS estándar, todo mientras continuamos desarrollando aplicaciones personalizadas. Con un rico ecosistema de socios listos para aprovechar la información de una organización, la información sobre los servicios de una organización que se expone a los clientes es ahora tan importante como los servicios en sí. Hoy en día, la integración de aplicaciones SaaS, personalizadas y de socios y los datos que contienen es un requisito. En estos días, una organización se diferencia al combinar las capacidades comerciales de una manera única. Por ejemplo, muchas empresas están analizando datos en movimiento y en reposo, utilizando sus hallazgos para crear reglas comerciales y luego aplicando esas reglas para responder aún más rápido a los nuevos datos. Los objetivos característicos de este tipo de innovación son experiencias de usuario más comprometedoras y mejores operaciones comerciales.

¿Cómo funciona la integración de datos?

Uno de los mayores desafíos que enfrentan las organizaciones es intentar acceder y dar sentido a los datos que describen el entorno en el que operan. Cada día, las organizaciones capturan más y más datos, en una variedad de formatos, de una mayor cantidad de fuentes de datos. Las organizaciones necesitan un método para que los empleados, usuarios y clientes capturen el valor de esos datos. Esto significa que las organizaciones deberán reunir los datos relevantes dondequiera que residan con el fin de respaldar los procesos de negocio y los informes de la organización.

Sin embargo, los datos requeridos a menudo se distribuyen entre aplicaciones, bases de datos y otras fuentes de datos alojadas en las instalaciones, en la nube, en dispositivos de IoT o proporcionados a través de terceros. Las organizaciones ya no mantienen datos simplemente en una base de datos, sino que mantienen datos maestros y transaccionales tradicionales, así como nuevos tipos de datos estructurados y no estructurados, en múltiples fuentes. Por ejemplo, una organización podría tener datos en un archivo plano o podría intentar acceder a los datos de un servicio web.

El enfoque tradicional de integración de datos se conoce como enfoque de integración de datos físicos. Y eso implica el movimiento físico de datos desde su sistema de origen a un área de preparación donde se lleva a cabo la limpieza, el mapeo y la transformación antes de que los datos se muevan físicamente a un sistema de destino, por ejemplo, un almacén de datos o un mercado de datos. La otra opción es el enfoque de virtualización de datos. Este enfoque implica el uso de una capa de virtualización para conectarse a almacenes de datos físicos. A diferencia de la integración de datos físicos, la virtualización de datos implica la creación de vistas virtualizadas del entorno físico subyacente sin la necesidad del movimiento físico de datos.

Una técnica común de integración de datos es Extract Transform and Load (ETL), donde los datos se extraen físicamente de múltiples sistemas de origen, se transforman en un formato diferente y se cargan en un almacén de datos centralizado.

Consideraciones para mejorar la integración simple

El valor que se obtiene al implementar la tecnología de integración de datos es, ante todo, el costo de no tener que integrar los datos manualmente. También hay otros beneficios, incluida la reducción de evitar la codificación personalizada para la integración. Las organizaciones, siempre que puedan, deberán buscar utilizar una herramienta de integración proporcionada por un proveedor en lugar de escribir un código de integración personalizado. Las razones para hacer esto son a) una mejor calidad de los datos b) un rendimiento óptimo y c) ahorro de tiempo.

Las organizaciones podrían obtener un valor mucho mayor al agregar los siguientes objetivos adicionales a sus planes o guías vencidas de integración:

Optimizar el desarrollo

Elija una solución que le permita crear un catálogo de formatos y subprocesos para su reutilización, especialmente procesos no funcionales como registro, reintentos, etc. La capacidad de probar cualquier lógica de integración sobre la marcha también reducirá drásticamente el tiempo necesario para la implementación y el mantenimiento.

Configuración

Los procesos de integración de datos están configurados para conectar aplicaciones y sistemas. Estas configuraciones deberán reflejar cualquier cambio de inmediato, garantizar que se utilicen los sistemas adecuados y propagar los cambios en varios entornos (desarrollo, prueba, control de calidad y producción). La mayoría de las organizaciones informan que todavía están cambiando los parámetros de configuración manualmente dentro de su entorno de desarrollo integrado (IDE), lo cual es un proceso humano costoso que también podría implicar la manipulación de la lógica de integración. La mejor alternativa, acceder y administrar las variables en scripts o interfaces de implementación, permitirá implementaciones totalmente automatizadas que reducirán la duración del proyecto.

Pruebas

Las pruebas son el núcleo del desarrollo de la integración de datos. Verifica la tecnología de integración de datos y los sistemas de destino, por lo que deberán realizarse inmediatamente, tan pronto como el desarrollador cree o actualice la lógica. Sin embargo, está claro que la mayoría de las organizaciones tienen que implementar procesos antes de realizar las pruebas, lo que provocará retrasos. Un IDE que permite la depuración inmediata acorta drásticamente el desarrollo del proceso de integración. Además, debido a que ciertos procesos de integración de datos son tan críticos, deberán probarse en entornos muy parecidos al entorno de producción, y también sus actualizaciones se probarán para no tener regresión. Esta prueba requiere el registro de escenarios de prueba. Muchas organizaciones deberán desarrollar la lógica del proceso de integración, así como los sondeos para capturar resultados, lo cual aumentará la duración y los costos del desarrollo. El uso de una API para inyectar datos y registrar escenarios de prueba, o una solución de prueba de integración, reducirá drásticamente la duración del proyecto.

Establecer un modelo común de datos

Además de limitar las tecnologías, la creación de un modelo común de datos facilita las integraciones futuras porque todos los procesos de integración hablarán el mismo idioma. La empresa también se verá beneficiada porque los servicios y eventos que involucran objetos comerciales se podrán crear fácilmente, y suscribirse a los eventos adecuados proporcionará una mayor visibilidad comercial.

Ahorros al aprovechar inversiones pasadas

Muchas aplicaciones tradicionales siguen siendo una parte vital de los procesos comerciales y contienen datos importantes que deberán integrarse con todos los demás sistemas de su entorno. Aunque sus principales funcionalidades comerciales proporcionan excelentes activos para su reutilización en otros servicios, muchos de sus componentes y capacidades fueron reemplazados desde entonces por otras aplicaciones. La integración de datos le ayudará a inyectar los datos de sus sistemas tradicionales en los entornos más modernos.

Por lo general, la integración de datos se utiliza como un requisito previo para un mayor procesamiento de los datos, sobre todo la analítica. Usted deberá reunir los datos para facilitar los informes analíticos y brindar a los usuarios una vista completa y unificada de toda la información que fluye a través de su organización. Una verdadera analogía de la integración de datos es crear una sola vez y utilizar muchas veces. Por ejemplo, usted no deseará tener que ingresar un pedido en un sistema manualmente. Deseará ingresarlo una vez y que un sistema lo pase a otro; ese es el valor principal de la integración de datos.