메타데이터 관리란 무엇입니까?

메타데이터 관리는 데이터에 대한 메타데이터를 관리하는 비즈니스 분야입니다. 메타 데이터는 조직의 정보 자산에 의미를 부여하고 설명합니다. 메타데이터는 데이터의 유용성과 검색 가능성을 개선하여 데이터의 가치를 극대화합니다. 메타데이터는 시스템, 데이터 및 비즈니스를 이해하고 관리하는 데 필요한 컨텍스트를 제공합니다. 메타데이터 관리를 사용하면 데이터를 더 쉽게 찾아 사용할 수 있고 비즈니스 및 IT 팀에 필요한 중요한 데이터 컨텍스트를 제공할 수 있습니다.

메타데이터는 파일 유형, 생성 시간, 파일 크기, 작성자 등을 포함하여 데이터에 대한 기본 정보를 제공합니다. 서술적 메타데이터, 구조적 메타데이터, 관리 메타데이터, 참조 메타데이터 및 통계 메타데이터를 포함하여 모두 데이터에 대한 고유한 정보를 제공하는 여러 유형의 메타데이터가 있습니다. 메타데이터는 수동 또는 자동으로 생성할 수 있습니다. 메타데이터를 수동으로 생성하면 더 자세한 정보를 얻을 수 있지만, 자동으로 생성된 경우 일반적으로 매우 기본적인 정보만 포함됩니다. 일반적으로 정보 자산이 중요할수록 관련 메타데이터를 관리하는 것이 더 중요해집니다. 이것은 귀중한 정보 자산을 사용하는 방법에 대해 더 많은 정보를 원하기 때문입니다. 정보 자산이 그렇게 중요하지 않다면 많은 메타데이터가 필요하지 않습니다.

강력한 메타데이터 관리 전략은 조직의 데이터가 다양한 시스템 전반에서 고품질, 일관성, 정확성을 보장합니다. 포괄적인 메타데이터 관리 전략을 사용하는 조직은 메타데이터 관리 솔루션을 가지고 있지 않는 조직보다 올바른 데이터를 기반으로 비즈니스 결정을 내릴 가능성이 더 큽니다. 이는 모든 데이터 거버넌스 이니셔티브의 중요한 구성 요소입니다.

조직에서 메타데이터를 문서화하고 관리하려는 이유는 무엇입니까?

대부분의 조직들은 지나치게 꽉 차 있고, 전체적으로 정돈되지 않은 서점과 유사한 정보 아키텍처를 가지고 있습니다. 어디에나 데이터가 있습니다. 대부분의 조직의 데이터는 조직화되거나 목록화되지 않아 원하는 것을 찾기가 매우 어렵습니다.

이것이 바로 데이터 검색 가능성 부족과 데이터 가용성 부족이라는 핵심 문제입니다. 그리고 이 문제는 점점 커지고 있습니다. 조직의 데이터는 10년 안에 기가바이트에서 테라바이트, 페타바이트로 확대될 수 있습니다. "데이터가 새로운 석유"인 시대에 성공적인 조직은 경쟁 우위를 확보하기 위해 모든 데이터를 찾고 사용할 수 있어야 합니다. 메타데이터 관리의 서술적 기능 및 검색 기능은 해당 데이터를 성공적으로 찾고 사용하는 데 중요합니다.

정보 내용에 따라 정의가 변경될 수 있으므로 메타데이터 관리도 중요합니다. 예를 들어, IT 부서, 영업 부서 또는 규정 준수 부서의 직원들과 대화할 때 서로 다른 그룹이 "고객"이라는 용어에 대해 어떻게 생각하고 정의하는지 살펴보십시오. 고객이 나타내는 것과 해당 데이터가 저장되는 방식에 대해 서로 다른 인식이나 관점을 가질 수 있습니다. IT 부서의 경우 고객에 대한 데이터는 회사에 대한 분석 보고서 및 대시보드 수행과 해당 데이터 저장의 매우 기술적인 측면에 집중할 수 있습니다. IT 부서에 "고객" 데이터가 있는 위치를 정의해 달라고 요청하면 "2015년부터 보고에 사용되는 엔터프라이즈 데이터 웨어하우스에 있습니다. 신규 인수에서 얻은 고객 데이터도 데이터 레이크에 보관하고 있습니다. 이러한 데이터는 데이터 호수에 존재하며, 보고하기 전에 변환해야 합니다."라고 대답할 것입니다. 따라서 그들에게 있어서 "고객" 데이터는 분석 중심적이거나 과거 룩백을 포함할 수 있습니다.

영업 팀은 현재 영업에서 고객 데이터를 어떻게 활용하고 있는지와 같은 운영에 더 집중할 수 있습니다. 그들에게 고객 데이터는 회사의 모든 고객과 달리 활성 고객 또는 계정 수준 고객 데이터(예: 회사 이름)만을 의미할 수 있습니다. 영업 팀은 고객 데이터를 직원 수준의 데이터보다는 회사 이름으로 지칭할 수 있습니다. 또한 컴플라이언스는 GDPR과 같은 규정을 준수하기 위해 주로 사용하기 때문에 사람 수준에서 고객 데이터를 생각할 수 있습니다.

보시다시피 문제는 정의뿐만 아니라 서로 다른 팀과 프로세스에 걸쳐 정의가 일치하지 않는 것입니다. 또한 데이터가 계속 증가하고 있는 것도 문제입니다. 최상의 분석을 수행하려면 데이터를 찾을 수 있어야 합니다. 운영 시 사용자는 모든 다양한 애플리케이션과 해당 애플리케이션이 데이터를 가져오는 출처를 이해하려고 합니다. 조직은 규정 준수를 위해 규칙을 준수하는지 확인하고 IT 부서의 경우 대부분 분석 생성 및 기록 유지에 관심을 가집니다.

메타데이터 관리를 통해 사용자는 조직의 각 부분에 시스템, 데이터, 전체 조직 및 조직 전체의 일관된 데이터 뷰를 이해하고 관리하는 데 필요한 메타데이터를 제공할 수 있습니다. 이것이 조직이 기능을 적절하게 수행하고 궁극적으로 업무를 올바로 수행하고 있는지 확인할 수 있는 유일한 방법입니다.

메타데이터 관리 사용 사례

메타데이터 관리를 통해 조직 내의 여러 담당자가 특정 질문에 답변하는 동시에 데이터에 대한 일관된 보기를 준수할 수 있습니다.

• 분석: 보다 통찰력 있는 분석을 위해 사용자는 셀프 서비스 데이터 카탈로그와 분석 프로그램에 대한 관리 워크플로를 사용하여 데이터를 검색하고 이해하며 프로비저닝합니다. 메타 데이터는 "내 분석 작업에 가장 적합한 판매 데이터 세트는 무엇입니까?"와 같은 질문에 대한 답을 찾는 데 도움이 될 수 있습니다.
• 운영: 팀은 운영을 최적화하기 위해 모든 엔터프라이즈 메타데이터 자산 및 데이터 라인을 검색하고 수집하고 관리하여 운영 품질을 개선합니다. "고객 주문을 이행하는 데 어떤 시스템이 관련됩니까?"와 같은 질문에 대한 답을 찾는 데 도움이 될 수 있습니다.
• 규정 준수: 규정 요구 사항(GDPR, CCPA, BCBS 239 등)을 충족하기 위해 데이터 개인 정보 보호를 포함한 데이터 거버넌스 기능으로 규정 준수 프로그램을 지원할 수 있습니다. 데이터 거버넌스 팀은 중요한 데이터 요소를 식별하고, 정의를 문서화하고, 규정 준수에 대한 보고서를 작성할 수 있습니다. 규정 준수는 "개인 정보를 어디에 저장하고 처리해야 합니까?"라는 질문에 대한 답을 찾는 데 도움이 될 수 있습니다.

메타데이터 관리 솔루션의 기능

포괄적인 메타데이터 관리 소프트웨어는 모든 메타데이터를 한 곳에 캡처하고 관리하는 단일 솔루션입니다. 솔루션에서 찾아보아야 할 기능에는 다음이 포함되어야 합니다.

• 메타데이터 관리 서비스: 비즈니스 정의, 용어집, 규칙과 같은 요소에 대한 모든 메타데이터를 한 곳에서 검색하고 수집하며 관리합니다.
• 데이터 거버넌스 솔루션: 거버넌스 정책 및 규정 준수 노력을 문서화하고 지원합니다.
• 데이터 카탈로그: 검색, 협업 및 프로비저닝 액세스를 위한 중요한 데이터 자산을 포함하는 기본 시스템에 대한 모든 물리적 데이터를 카탈로그화합니다.
• 서비스로 사용 가능: 100% SaaS 및 쉽게 프로비저닝됩니다.

포괄적인 솔루션을 통해 엔드 투 엔드 메타데이터를 관리할 수 있습니다. 여기에는 다음이 포함됩니다.

• 검색 및 추출: 온프레미스 또는 클라우드 시스템에서 메타데이터 수집 자동화
• 메타데이터 저장소: 모든 비즈니스 및 기술 메타데이터에 대한 단일 메타데이터 저장소
• 분류 및 계보: 데이터 요소 및 시각적 계보에 대한 메타데이터 자산의 머신 러닝 기반 분류.
• 거버넌스 및 보안: 비즈니스 용어집, 데이터 거버넌스 정책 및 규정 준수가 모두 하나의 플랫폼에서 제공.
• 검색 및 협업: 전체 데이터 카탈로그에서 검색. 댓글, 평가 및 태그로 공동 작업 진행.
• 데이터 품질 KPI: 모든 메타데이터에서 주요 데이터 품질 지표를 추적합니다.
• 통합 및 프로비저닝: 메타데이터를 서비스로 제공합니다. 카탈로그를 통해 데이터 액세스를 프로비저닝합니다.

메타데이터 관리가 협업을 촉진하는 방법

조직에서 일정 수준의 데이터 활용 능력을 달성하려면 조직 내 여러 종류의 담당자가 협업해야 합니다. 데이터 리터러시를 위해서는 팀의 노력이 필요합니다. 이것은 개별 팀이 혼자서 할 수 있는 일이 아니며 같은 장소에 도달하기를 바라는 것입니다. 이를 모두 관리하고 데이터 관리인이 데이터 사용자와 상호 작용할 수 있도록 지원하는 하나의 솔루션이 필요합니다.

각 팀이 메타데이터 관리를 어떻게 사용하는지 살펴보겠습니다. 예를 들어, 거버넌스 팀은 정의와 규정 준수에 더 신경을 쓸 수 있지만 IT 팀과 함께 협력해야 합니다. IT 팀은 정보를 저장하는 물리적 시스템의 카탈로그를 작성하고, 해당 시스템과 관련된 다양한 제어 기능과 보안을 문서화하며, 시스템을 관리하는 여러 팀과 협력하여 개인 정보 보호 및 규정 준수에 대한 교육을 받았는지 확인해야 하지만 컴플라이언스 팀과 상호 작용해야 합니다. 분석 사용자는 이러한 데이터를 많이 사용하고 있으며, 거버넌스 정책과 보안 및 IT 팀에서 수립한 프로토콜을 준수하고 있습니다. 다양한 시기에 이 모든 팀들 간의 상호작용이 있어야 합니다.

결론: 워크플로, 스튜어드십, 버전 제어 및 감사 추적을 비롯한 협업 거버넌스 프로세스를 포함한 메타데이터 관리 솔루션을 찾으십시오.

오늘날 여러 애플리케이션과 시스템 간에 많은 메타데이터가 분리되어 있습니다. 이로부터 메타데이터 사일로 간의 연결 부족을 초래합니다. 예를 들어, 일부 회사는 ETL에 일부 애플리케이션을 사용하고 그에 따라 메타데이터를 저장합니다. 데이터 거버넌스에 중점을 둔 다른 애플리케이션이 있으며 그에 따라 해당 데이터를 저장합니다. 데이터 카탈로그 정보를 저장하고 별도로 저장하는 다른 애플리케이션이 있습니다. 포괄적인 메타데이터 관리 솔루션을 통해 더 나은 통합, 더 나은 일관성 및 더 나은 제어를 제공하려면 모든 정보가 연결되어 있고 한곳에 있어야 합니다.

메타데이터 관리 및 AI

엣지 장치, IoT 및 AI로 인해 메타데이터 관리에 변화가 일어나고 있습니다. 데이터에서 추가 가치를 얻기 위해 해당 메타데이터를 사용할 필요성이 더 커졌습니다.

메타데이터가 프로덕션 환경(및 생산성)에 미치는 영향은 다양한 유형의 카탈로그 작성, 매핑, 데이터 모델링, 머신 러닝 및 엣지 컴퓨팅에 점점 더 의존하게 됩니다. 이러한 영역에서 메타데이터를 성공적으로 운영하는 사람들은 메타데이터 관리로부터 이익을 얻을 것입니다.

내장된 인공 지능(AI) 및 머신 러닝(ML) 알고리즘은 메타데이터 분류 및 데이터 계보(수평, 수직, 규제)를 용이하게 합니다. 이 알고리즘은 모든 팀과 부서에서 최고의 효율성, 최고의 성능 및 가장 현명한 의사 결정을 달성하는 데 필요한 데이터 컨텍스트, 일관성 및 제어를 제공합니다.