빅 데이터란 무엇입니까?
빅데이터는 조직이 보유하고 있는 데이터의 양이 방대하고 지속적으로 증가하여 전통적인 방법으로는 분석할 수 없는 데이터를 말합니다. 정형 및 비정형 데이터 유형을 모두 포함하는 빅 데이터는 종종 조직이 분석을 실행하고 더 나은 비즈니스 전략을 수립하는 데 도움이 될 수 있는 통찰력을 추출하는 원시 자료입니다. 이는 기술 프로세스 및 애플리케이션의 부산물 이상입니다. 빅 데이터는 오늘날 가장 중요한 자산 중 하나입니다.
빅 데이터는 전통적인 정형 데이터, 비정형 데이터 또는 반정형 데이터로 구성될 수 있습니다. 비정형이고 지속적으로 증가하는 빅 데이터의 예는 소셜 미디어에서 사용자가 생성한 데이터입니다. 이러한 데이터를 처리하려면 전문 도구 및 기술과 결합된 정형 데이터와는 다른 접근 방식이 필요합니다.
빅 데이터는 오늘날 정보 폭발의 부산물입니다. 비즈니스 및 일상 생활의 모든 영역이 급증하는 빅 데이터 급증에 기여합니다. 소매업, 부동산, 여행 및 관광, 금융, 소셜 미디어에서 기술에 이르기까지 우리가 밟은 많은 단계로부터 금융 역사에 이르기까지 우리 삶의 모든 측면은 데이터입니다.
2017년에는 세계 인구의 약 47%인 약 38억 명이 인터넷을 사용하는 것으로 추산되었습니다. 스마트 전자 장치의 수와 다양성은 지난 몇 년 동안 급증했으며 끊임없이 증가하고 있습니다. 매일 출력하는 데이터는 2.5 퀀틸리언바이트로 추정되며 증가하고 있습니다.
인터넷을 사용하는 사람들의 수가 기하급수적으로 증가함에 따라 데이터는 끊임없이 사용됩니다.
아래의 수치를 통해 빅 데이터 거대 기업의 규모에 대한 몇 가지 관점을 파악할 수 있습니다. 이것은 매 순간 사이버 영역에서 일어나고 있는 일입니다. 생각해 보십시오.
- 기상 채널은 18,055,555건의 예보 요청을 받습니다.
- 사람들은 Skype를 사용하여 176,220건의 전화를 걸고 있습니다.
- Instagram 사용자는 49,380개의 사진을 게시합니다.
- Netflix 사용자는 97,222시간 분량의 비디오를 스트리밍합니다.
빅데이터의 특징
빅 데이터의 5가지 V는 일반적으로 인정됩니다.
- Volume(용량)
- Velocity(속도)
- Variety(다양성)
- Veracity(진실성)
- Value(가치)
1. 용량
빅 데이터를 피라미드로 생각하면 용량은 그 넓은 기반을 형성할 것입니다. 전 세계 기업이 관리하는 데이터의 용량은 조직이 매일 3백만 개 이상의 데이터를 수집하기 시작한 2012년경부터 급증하기 시작했습니다. 안토니오 데 네브리자 대학교(Antonio de Nebrija University)의 MBA 교수에 따르면 그 이후로 용량은 약 40개월마다 두 배로 증가하는 것으로 추정됩니다.
2. 속도
'속도'라는 용어는 데이터가 생성되는 속도를 나타냅니다.
자산이 될 수 있는 것은 빅 데이터의 용량만이 아닙니다. 데이터가 얼마나 빨리 흐르는지, 즉 속도도 중요합니다. 실시간에 가까울수록 실행 가능하고 가치 있는 통찰력을 추출하려는 기업의 경쟁 우위 측면에서 더 유리합니다.
음식 배달 회사가 주요 스포츠 경기 시작 45분 후 판매 데이터를 기반으로 Google Ads 캠페인을 구매하기로 결정한 것이 그 예입니다. 이 판매 데이터는 몇 시간 후에 관련성을 잃게 됩니다.
빠른 데이터에 대한 이러한 요구를 구동하는 기술에는 RFID 태그, 스마트 미터링 및 다양한 종류의 센서가 포함됩니다.
3. 다양성
다양성은 회사가 빅 데이터를 획득할 수 있는 소스의 범위와 빅 데이터가 표시될 수 있는 대량 형식을 나타냅니다. 여기에는 스마트폰, 사내 장치, 소셜 미디어 채팅 프로그램, 주식 시세 데이터 및 금융 거래 데이터와 같은 장소가 포함됩니다. 소스는 특히 데이터를 수집하는 기업의 성격과 관련이 있어야 합니다. 예를 들어, 소매 회사는 최근에 출시된 의류 라인에 대해 소셜 미디어에서 사용자가 말하는 내용에 주의를 기울여야 합니다. 제조 회사의 경우에는 소셜 미디어를 팔로우하는 데 내재된 가치가 적을 것입니다.
다양한 데이터는 조직이 고객 프로필과 사람들을 이해하는 데 도움이 되도록 확장될 수도 있습니다. 예를 들어, 회사는 얼마나 많은 사람들이 뉴스레터를 보는 지에 대해서 뿐만 아니라 뉴스레터를 보는 이유와 독자의 특성을 파악하는 것이 도움이 된다는 것을 알게 될 것입니다.
4. 진실성
진실성은 데이터의 품질과 정확성에 이의를 제기합니다. 클린 데이터가 가장 신뢰할 수 있습니다. 조직은 데이터를 신뢰하기 위해 시스템 전체에서 데이터를 연결, 정리 및 변환해야 합니다. 조직에서 데이터를 계속 제어하려면 계층 구조와 여러 데이터 연결이 필요합니다.
5. 가치
피라미드의 정점에는 수많은 데이터로부터 실행 가능한 비즈니스 통찰력을 추출할 수 있는 능력인 가치가 자리 잡고 있습니다.
가치를 통해 얼마나 많은 신규 회원이 웹사이트에 가입할 것인지, 얼마나 많은 고객이 보험 정책을 갱신할 것인지, 예상되는 주문 수는 얼마인지 등을 예측할 수 있습니다. 가치는 최고의 고객이 누구이며 누가 몇 주 또는 몇 달 안에 탈퇴하여 다시는 돌아오지 않을 것인지 아는 것입니다.
기업은 빅 데이터가 제공하는 통찰력을 수익화하는 능력을 통해 가치를 얻습니다. 그들은 고객에 대해 더 잘 알게 되었고 더 관련성 높은 제품을 계속 제공합니다.
빅데이터의 주요 유형 및 소스
스트리밍 데이터
이 데이터는 사물 인터넷 및 연결된 장치에서 가져온 데이터입니다. 시간순으로 시스템에 유입되는 데이터입니다. 스트리밍 데이터는 스마트폰, 웨어러블, 스마트 자동차, 산업 장비 및 의료 기기와 같은 다양한 연결된 장치에서 IT 시스템으로 스트리밍할 수 있습니다. 스트리밍 데이터는 선입선출 방식으로 또는 지속적으로 분석하고 검사하여 추가 분석을 위해 저장할 가치가 있는지 또는 안전하게 폐기할 수 있는지 여부를 확인할 수 있습니다.
소셜 미디어 데이터:
Facebook, Instagram, YouTube와 같은 소셜 미디어 플랫폼에서 매일 사진, 이미지, GIF, 비디오, 음성, 댓글(텍스트) 및 사운드 파일의 형태로 수백만 건의 상호 작용이 소셜 미디어 데이터의 레퍼토리를 구성합니다. 이는 판매, 지원 및 마케팅 캠페인에 특히 유용합니다. 문제는 대부분 비정형 또는 반정형 형태이므로 분석하기 전에 추가 처리가 필요하다는 사실에 있습니다.
공개적으로 사용 가능한 데이터
이는 주요 세계 정부의 data.gov 포털을 포함하여 거대한 수의 공개 데이터 소스를 나타냅니다.
나머지 빅 데이터는 클라우드, 데이터 레이크, 벤더, 공급업체 또는 고객으로부터 제공됩니다.
빅 데이터 처리 방법
빅 데이터 처리는 이를 활용하기 위한 전략 수립으로부터 시작됩니다. 다음 단계는 소스, 위치, 시스템, 사용자 및 소유자와 데이터 흐름 방식을 식별하고 분류하는 것입니다. 그런 다음 데이터 중심 의사 결정을 용이하게 하는 마지막 단계인 분석에 쉽게 액세스할 수 있도록 데이터를 저장하고 관리하는 인프라를 구축합니다. 이 프로토콜은 비정형 데이터와 반정형 데이터는 물론 기존의 정형 데이터 세트를 관리하는 데 유용합니다.
빅 데이터 관리 전략을 개발할 때 비즈니스 성장과 기술 관점에서 현재 및 미래 비즈니스 목표를 고려하여 빅 데이터를 다른 비즈니스 가치 자산과 마찬가지로 취급하는 것이 필수적입니다.
데이터는 기존 데이터 웨어하우스의 현장에 저장할 수 있지만 최근 몇 년 동안 클라우드 스토리지 솔루션이 인기를 얻고 있습니다. 이는 보다 경제적이며 일정한 범위의 유연성을 제공합니다. 처리와 관련하여 오늘날 사용 가능한 컴퓨팅 시스템은 이러한 방대한 데이터 볼륨에 액세스하는 데 필요한 속도, 성능 및 민첩성을 충족합니다. 데이터 통합, 품질 관리 보장, 데이터 거버넌스 제공 및 분석 도구가 제 역할을 할 수 있도록 준비하는 것 또한 필수적인 요소입니다.
빅 데이터를 최대한 활용할 수 있는 도구
빅 데이터는 인공 지능과 같은 우리 시대의 고급 분석 노력을 촉진하는 요인입니다. 회사가 수집된 데이터를 더 효율적으로 사용할수록 더 많은 잠재력을 추출할 수 있습니다. 특히 방대한 양의 데이터를 실시간으로 관리하고 분석할 수 있는 소프트웨어에 대한 투자는 빅 데이터 관리의 중요한 단계입니다.
MapReduce, BigTable 및 Hadoop: 대량의 데이터를 저장하고 비즈니스 활동을 수행하는 보다 우수하거나 효율적인 방법을 식별해야 할 때 Hadoop 및 클라우드 기반 분석과 같은 도구가 활용됩니다. 이는 프로세스를 최적화하여 비용 이점을 제공하는 데 도움이 됩니다.
또한, 인메모리 분석과 결합된 Hadoop과 같은 고속 도구는 미개척 리소스, 즉 분석을 위한 새로운 데이터 소스를 식별하는 데 도움이 됩니다. 데이터를 캡처하고 분석하는 속도는 기업이 빠른 의사결정을 내릴 수 있게 하는 훌륭한 자산입니다.
복잡한 문제에는 현명한 솔루션이 필요합니다. 플랫폼은 IT에 정통하지 않은 사람도 사용할 수 있도록 하는 직관적이고 간단한 인터페이스로 조직의 역량을 강화해야 합니다. 또한 플랫폼은 모든 범위의 빅 데이터를 활용하여 정확한 실시간 분석을 수행할 수 있어야 합니다. 다양한 소스에서 가져온 수 테라바이트의 데이터 클러스터를 처리하고 이를 유용한 통찰력과 워크플로 분석을 제공하는 대시보드로 성공적으로 전환할 수 있게 되면 시스템이 성공하게 됩니다.
빅 데이터 분석: 통찰력
- 빅 데이터 분석을 통해 현재 시장 상황, 고객의 구매 행동, 제품 인기도 등을 더 깊이 이해할 수 있으며 따라서 제조 또는 조달 계획을 최적화할 수 있습니다.
- 마찬가지로 빅 데이터는 기업이 고객이 무엇을 좋아하는지, 유료 고객이 속하는 인구 통계를 자세히 살펴본 다음 장기적으로 고객을 유지하기 위해 충성도를 높이고 보상하는 방법을 강구하는 데 도움이 됩니다.
- 고객을 만족하게 하는 것은 비즈니스의 장기 운영에 매우 중요합니다. 빅 데이터가 제공하는 통찰력은 기대치를 관리하고 다양한 고객 페르소나를 위한 기억에 남고 효과적인 마케팅 캠페인을 설계하는 데 큰 도움이 됩니다.
- 빅 데이터 분석은 브랜드, 서비스 또는 제품에 대한 소비자의 감정을 측정하는 감정 측정기가 될 수도 있습니다. 이는 브랜드 이미지 관리에 큰 도움이 될 수 있습니다. 빅 데이터 통찰력은 온라인 가시성과 인기도를 개선하고 높은 평가를 유지하는 데 도움이 될 수 있습니다.
- 빅 데이터 분석으로 제공하는 통찰력을 통해 기업은 끊임없이 제품을 혁신하고 재개발하여 경쟁에서 앞서 나갈 수 있습니다. 통찰력은 실패, 문제 및 결함의 근본 원인을 식별하는 데 도움이 됩니다.
- 빅 데이터는 심각한 피해가 발생하기 전에 패턴을 식별하고, 위험 포트폴리오를 계산하고, 사기 행위를 사전에 막는 데 도움이 됩니다.
빅 데이터 처리에 의한 장기적인 이점
조직이 빅 데이터를 처리하는 데 필요한 인프라에 시간과 리소스를 투자하면 다음과 같은 이점을 얻을 수 있습니다.
- 리소스 및 재고 계획 최적화
- 보다 우수한 자산 관리
- 고객 프로필에 대한 보다 직관적인 이해
- 고객, 벤더 및 공급업체 관계의 개선
- 주문에서 배송까지 시간 단축
- 전체 공급망 전반에서의 더 나은 통합
- 보다 효과적인 전략 기획
- 더 짧은 반응 시간에 공급망 문제 해결
- 고객 서비스 개선 및 빠른 처리
빅 데이터가 다양한 부문에 미치는 영향: 예시
교육 부문에서 빅 데이터
빅 데이터는 특히 다음과 같은 분야에서 교육 부문의 주요 변화를 주도하고 있습니다.
- 보다 사용자정의되고 역동적이며 상호 작용하는 학습 및 개발 프로그램 작성
- 강의 자료의 범위 재정의
- 정확도를 높이기 위한 등급 시스템 수정
- 진로예측 및 상담
보험 부문에서 빅 데이터
보험 부문은 종신 보장을 원하는 개인뿐만 아니라 다양한 유형과 규모를 가진 기업과도 관련이 있습니다. 공통적인 요소는 사람과 조직 모두 역경, 재난 및 기타 불확실한 시기에 취약하다는 것입니다. 따라서 보험 부문의 데이터는 서로 다른 소스에서 다양한 형식으로 제공될 수 있으며 변경될 수 있습니다.
예를 들어 고객이 특정 국가를 여행할 때 자동차 보험에 가입하고자 하는 경우 보험 회사는 해당 국가의 운전 상황 및 도로 안전에 대한 데이터를 수집 및 실행하고 그에 따라 보험료를 조정할 수 있습니다. 그들은 또한 고객에게 구매 정책을 제시하기 전에 고객의 운전 안전 기록과 요인을 수집할 수 있습니다.
이러한 위험 평가 외에도 보험사는 위협 매핑에 빅 데이터를 사용할 수도 있습니다. 즉, 특정 고객이나 회사에서 문제가 발생할 수 있는 다양한 가능성을 고려하여 클레임을 제기할 수 있습니다.
정부에서 빅 데이터
빅 데이터는 전 세계 정부에게 특히 큰 영향을 미치는 것으로 입증되었습니다. 복잡한 문제를 해결하고, 거버넌스를 보장하며, 주요 이벤트에 영향을 미치는 것은 물론, 국내 및 글로벌 규모에서도 중요한 역할을 합니다.
빅 데이터는 축적된 데이터를 수집 및 대조하고 유용한 통찰력을 추출하여 다양한 조직 프로세스에 대한 실행 가능성과 컨텍스트를 부여할 수 있는 거대한 새로운 기회를 제공했습니다.