데이터 패브릭이란 무엇입니까?

데이터 패브릭은 아키텍처, 데이터 관리 및 통합 소프트웨어, 공유 데이터로 구성된 종단 간 데이터 통합 및 관리 솔루션으로 조직의 데이터 관리를 지원합니다. 데이터 패브릭은 전 세계 조직의 모든 구성원에게 실시간으로 통합되고 일관된 사용자 경험과 데이터 액세스를 제공합니다.

데이터 패브릭은 다양한 종류의 애플리케이션, 플랫폼 및 데이터를 저장하는 장소에 관계없이 조직을 도와 데이터를 관리하여 복잡한 데이터 문제와 사용 사례를 해결할 수 있도록 설계되었습니다. 데이터 패브릭을 사용하면 분산 데이터 환경에서 원활한 액세스 및 데이터 공유가 가능해집니다.

데이터 패브릭을 사용하는 이유?

모든 데이터 중심 조직은 시간, 공간, 다양한 소프트웨어 유형 및 데이터 위치의 장애를 극복하는 전체적인 접근 방식을 필요로 합니다. 데이터는 필요로 하는 사용자가 접속할 수 있어야 하며 방화벽으로 잠겨 있거나 다양한 위치에 단편적으로 위치하지 않아야 합니다. 기업이 성공하기 위해서는 안전하고 효율적인 통합 환경 및 미래를 대비한 데이터 솔루션이 있어야 합니다. 바로 데이터 패브릭이 이를 제공합니다.

기존의 데이터 통합은 더 이상 실시간 연결, 셀프 서비스, 자동화 및 보편적 변환과 관련된 새로운 비즈니스 요구 사항을 충족하지 못합니다. 일반적으로 다양한 소스에서 데이터를 수집하는 것이 문제가 되지는 않지만 많은 조직들은 다른 소스와 데이터를 통합, 처리, 선별 및 변환할 수 없습니다. 데이터 관리 프로세스의 이 중요한 부분은 고객, 파트너 및 제품에 대한 포괄적인 관점을 제공하기 위한 것입니다. 이를 통해 조직은 경쟁 우위를 확보하고 고객 요구를 더 잘 충족하고 시스템을 현대화하며 클라우드 컴퓨팅의 파워를 활용할 수 있습니다.

데이터 패브릭은 조직의 사용자가 어디에 있든 전 세계에 퍼져 있는 천으로 시각적으로 묘사할 수 있습니다. 사용자는 이 패브릭의 어느 위치에 있어도 제약 없이 실시간으로 다른 위치의 데이터에 계속 접속할 수 있습니다.

데이터 패브릭은 단순한 네트워크를 초월합니다.

인터넷은 전 세계의 인간을 연결하기 위해 만들어졌으며 사람들에게 시간과 거리의 장애물을 무시할 수 있는 능력을 제공합니다. 하지만 초기에는 사람을 연결하는 역할만 했고, 정량화된 데이터의 전송도 미미했습니다. 오늘날 디지털 플랫폼에서의 활동은 초기 예측을 능가했으며 데이터는 그 자체로 하나의 세계가 되었습니다. 온라인이든 실생활이든 정량적인 모든 활동은 데이터 제공으로 분류될 수 있습니다. 이 데이터 양이 비약적으로 증가함에 따라 이를 관리할 인프라를 구축해야 합니다.

이전에는 데이터를 관리하고 보너스로 데이터에서 통찰력을 추출하는 것이 목적이었습니다. 시간이 지남에 따라 초점은 단순한 데이터 관리에서 해당 데이터에서의 통찰력 추출로 전환하기 시작했습니다. 데이터 패브릭의 사용으로 초점이 단순한 데이터 관리에서 데이터 자체의 품질, 정보 가용성 및 이로부터 파생된 자동화된 통찰력 향상으로 전환하고 있습니다.

데이터 패브릭을 사용하는 이유

전 세계적으로 네트워크 환경에 진입하는 이해 관계자의 수가 증가하고 있습니다. 모든 사람이 인터넷에 연결되어 있고 모든 플랫폼이 데이터 소스가 되었습니다. 데이터 가치의 극대화는 복잡한 문제가 되었습니다. 오늘날 데이터의 문제점은 다음과 같습니다.

• 다중 온프레미스 및 클라우드 위치에 위치
• 정형 및 비정형 데이터
• 데이터 유형의 다양성
• 플랫폼 환경의 다양성
• 다양한 파일 시스템, 데이터베이스 및 SaaS 애플리케이션에서 유지 관리

데이터가 기하급수적으로 증가함에 따라 이러한 문제가 증가하고 있습니다.

이러한 문제와 다양성으로 인해 데이터에 쉽게 접속하거나 사용하는 것이 복잡해집니다. 그리고 조직이 AI 및 ML을 제품화하거나 운영하려면 데이터를 수집, 변환 및 처리해야 합니다.

오늘날 대부분의 조직은 사일로에서 문제를 처리하는 경향이 있으며 이로부터 조직 전체에서 데이터를 관리하는 방법이 다양해지게 됩니다. 이 솔루션을 사용하면 특정 그룹에서 데이터를 사용할 수 있지만 회사 전체에서 데이터에 접속하는 것이 거의 불가능해지며 데이터를 유휴 상태로 방치하는 경우가 많습니다.

포괄적인 데이터 접속 및 사용이 부족하면 인프라에 대한 투자 수익률이 떨어지고, 유용한 예측을 위한 데이터 가용성이 부족하며, 생산성이 저하됩니다. 이러한 상황에서 데이터 패브릭이 이런 문제를 해결합니다.

데이터 패브릭 대 현재 상황

현재 많은 조직에서 데이터 레이크와 데이터 웨어하우스를 사용하여 데이터를 관리합니다. 그러나 자세히 살펴보면 이러한 접근 방식은 데이터 중심적이기보다는 기술 집약적인 방식입니다. 데이터 레이크 및 데이터 웨어하우스의 우점은 원시 데이터를 수집 또는 추출하고, 저장하고, 데이터를 사용하여 통찰력을 도출하는 것입니다. 이러한 솔루션은 오늘날의 문제를 염두에 두고 설계되지 않았으므로 데이터에 대한 통합된 뷰를 얻기가 어렵습니다. 그러나 이러한 기술로 하여 종종 대기 시간이 길어지고 비용이 증가합니다. 증가하는 데이터 양과 조직의 의사 결정권자가 작업하는 시간 제약으로 인해 데이터 접속 및 처리가 지연되는 것은 바람직하지 않습니다. 이러한 시나리오에서 데이터 패브릭은 소스 지점에서 실시간으로 데이터를 저장, 추출 및 처리하는 이점을 제공하여 의사 결정자가 이동 중에도 통찰력을 가질 수 있도록 합니다.

데이터 패브릭과 데이터 가상화 비교

데이터 패브릭은 데이터 가상화와 혼동되는 경우가 많습니다. 데이터 가상화는 데이터 추상화 계층을 생성하며 데이터를 신속하게 통합해야 할 때 자주 사용됩니다. 민첩한 셀프 서비스 및 실시간 통찰력을 위해 온프레미스 또는 클라우드와 같은 다양한 소스의 데이터를 연결, 수집 및 변환합니다. 반면에 데이터 패브릭은 더 큰 스택 구성 요소 집합을 포함하여 고객 인텔리전스 및 IoT 분석과 같은 광범위한 사용 사례에 사용되는 포괄적인 종단 간 데이터 관리 아키텍처를 나타냅니다. 분석가는 데이터 가상화를 데이터 패브릭 아키텍처에 기여하는 하나의 도구로 사용할 것을 권장합니다. 점점 더 많은 데이터 통합 도구를 활용함에 따라 솔루션을 조직의 목표에 맞는 데이터 패브릭으로 확장할 수 있습니다.

데이터 패브릭 구현

데이터 패브릭은 OLTP(온라인 트랜잭션 처리) 개념으로 시작합니다. 온라인 트랜잭션 처리에서는 모든 트랜잭션에 대한 세부 정보가 데이터베이스에 삽입, 업데이트 및 업로드됩니다. 데이터는 구조화되고 정리되며 추가 사용을 위해 중앙 사일로에 저장됩니다. 패브릭의 어느 지점에서나 모든 데이터 사용자가 원시 데이터를 가져와 여러 결과를 도출할 수 있으므로 조직에서 데이터를 활용하여 데이터를 확장, 조정 및 개선할 수 있습니다.

데이터 패브릭을 성공적으로 구현하려면 다음 사항이 필요합니다.

• 애플리케이션 및 서비스: 데이터 획득에 필요한 인프라가 구축되는 곳입니다. 여기에는 고객이 조직과 상호 작용할 수 있는 앱 및 그래픽 사용자 인터페이스(GUI) 개발이 포함됩니다.
• 생태계 개발 및 통합: 데이터를 수집, 관리, 저장하는 데 필요한 생태계를 생성합니다. 고객의 데이터는 데이터 손실을 방지하면서 데이터 관리자와 스토리지 시스템으로 전송되어야 합니다.
• 보안: 모든 소스에서 수집한 데이터는 적절한 보안 기능으로 관리되어야 합니다.
• 스토리지 관리: 데이터는 접속 가능하고 효율적인 방식으로 저장되며 필요할 때 확장할 수 있어야 합니다.
• 전송: 조직의 지리적 위치의 모든 지점에서 데이터에 접속하는 데 필요한 인프라를 구축해야 합니다.
• 엔드포인트: 스토리지 및 액세스 포인트에서 소프트웨어 정의 인프라를 개발하여 실시간 통찰력을 얻어야 합니다.

인공 지능 또는 머신 러닝은 데이터 패브릭과 어떻게 작동합니까?

데이터 저장의 초기 단계에서 데이터 엔지니어와 데이터 과학자는 데이터의 점을 연결하여 패턴을 찾으려고 했습니다. 그들은 기존의 데이터 통합 기술을 사용하는 경우 대부분의 시간을 데이터에 대해 배우는 것보다 데이터 물류 업무에 할애하고 있다는 사실을 알게 되었습니다. 통찰력을 더 빨리 얻으려면 이것이 적합하지 않습니다.

데이터 패브릭은 기본적으로 모든 데이터를 하나로 통합할 뿐만 아니라 머신 러닝을 사용하여 데이터를 변환하고 처리하여 패턴과 통찰력을 찾는 데이터 운영 계층입니다. 데이터 패브릭이 없으면 이 모든 것이 각각의 개별 애플리케이션에서 진행해야 하므로 지속 가능한 솔루션이 아닙니다.

데이터 패브릭은 AI 및 ML의 요구 사항을 충족하는 데이터를 지속 가능한 수준에서 자동으로 준비할 수 있습니다. 머신 러닝은 데이터와 통찰력을 사전에 제공하여 의사 결정자가 더 나은 통찰력과 시기적절한 정보를 얻을 수 있도록 도와줍니다. 바람직한 결과는 특별히 찾거나 요청하지 않고 데이터에서 숨겨진 사실을 발견하는 동시에 문제 또는 비즈니스 통찰력에 대한 솔루션을 찾는 것입니다.

데이터 패브릭의 위험

데이터 패브릭의 한 지점에서 다른 지점으로 데이터가 전송될 때 조직에서 증가하는 우려는 데이터 보안에 대한 위협입니다. 데이터 전송을 위한 인프라에는 보안 침해로부터 안전을 보장하기 위해 보안 방화벽과 프로토콜이 내장되어 있어야 합니다. 조직을 목표로 한 사이버 공격이 증가함에 따라 데이터 주기의 모든 지점에서 데이터 보안이 가장 중요해졌습니다.

데이터 패브릭의 이점

데이터 패브릭은 지리적으로 다양하게 배치되어 있고 여러 데이터 소스를 갖고 있으며 복잡한 데이터 문제 또는 사용 사례에 직면한 조직에 가장 적합합니다. 명심할 것은 데이터 패브릭은 데이터를 통합하고 처리하기 위한 빠른 답이 아니라는 것입니다. 이를 위해 데이터 가상화로 전환할 수 있습니다.

하드웨어 기능의 지속적인 발전에 따라 세계화는 이전에 연결되지 않은 지역으로의 확장으로 전환되고 있습니다. 연결 속도가 급격히 빨라짐에 따라 조직은 장치 및 서비스의 데이터에 압도될 수 있습니다. 데이터는 꽤 오랫동안 통찰력을 위해 사용되어 왔지만 데이터 패브릭은 다음을 포함하는 솔루션을 제공합니다.

• 시스템 변경을 가능하게 하고 필요에 따라 적응 및 조정하며 모든 운영 체제 및 스토리지 시스템에서 작동하는 애자일 모델
• 엄청나게 비싼 하드웨어 또는 고도로 훈련되고 값비싼 직원에 대한 투자 없이 최소한의 간섭으로 확장 가능
• 접근성 및 실시간 정보 흐름을 유지하면서 최대의 무결성 제공 및 규정 준수

기업이 접속할 수 있는 방대한 양의 데이터를 활용하여 고유한 통찰력을 얻어야 합니다. 예측, 판매 및 공급망 최적화, 마케팅, 소비자 행동을 포함한 영역은 조직에 해당 분야에서 경쟁 우위와 데이터 리더십을 제공합니다. 실시간 인사이트 도출을 통해 조직은 다른 조직보다 우위에 설 수 있습니다.