스트리밍 데이터란 무엇입니까?

데이터 스트리밍은 생성되고 처리되는 데이터의 연속적이고 지속적인 흐름이 있는 경우를 의미합니다. 이는 데이터 스트림을 실시간으로 관리, 저장, 분석 및 조치할 수 있는 스트림 처리 기술을 사용하여 달성할 수 있습니다. 데이터 스트리밍은 이벤트 스트림 처리 또는 스트리밍 데이터라고도 할 수 있습니다(Netflix 덕분에 우리 대부분이 이에 익숙합니다).

스트리밍 데이터를 더 잘 이해하려면 스트리밍 개념 자체부터 시작하는 것이 가장 좋습니다. 스트리밍은 시작점이나 끝점이 없는 논스톱 데이터 흐름을 의미합니다. 이 지속적인 데이터 흐름은 다운로드하지 않고 사용할 수 있습니다. 강의 흐름과 유사합니다. 다양한 속도와 강도로 흐르는 많은 작은 개울, 지류 및 수역이 유리한 지점에서 시작도 없고 끝도 없는 하나의 강으로 합쳐집니다.

마찬가지로 데이터 스트림은 다양한 형식과 데이터 량을 가진 다양한 소스에서 시작됩니다. 이러한 소스는 앱, 네트워크 장치, 서버 로그 파일, 다양한 유형의 온라인 활동 및 위치 기반 데이터가 될 수 있습니다. 이러한 모든 소스는 실시간으로 수집되어 실시간 분석 및 정보를 위한 단일 기본 소스를 형성할 수 있습니다.

스트리밍 데이터의 한 가지 예는 차량 공유 앱입니다. Uber(우버) 또는 Lyft(리프트)에서 예약하면 실시간으로 기사와 연결되고 앱을 통해 실시간 교통 데이터를 기반으로 기사가 얼마나 멀리 떨어져 있고 목적지까지 얼마나 걸리는지 등을 알 수 있습니다. 스트리밍 데이터의 다른 예로는 실시간 주식 거래 및 소매 재고 관리가 있습니다.

스트리밍 데이터 작동 방식

데이터 처리의 개념은 새로운 것이 아닙니다. 초기에는 훨씬 적은 수의 소스에서 데이터가 생성되었기 때문에 레거시 인프라를 보다 쉽게 구성할 수 있었습니다. 데이터와 소스 구조의 특이성과 통합에 대해 작동하는 방식으로 전체 구조를 생성할 수 있었습니다.

그러나 현대 데이터는 하드웨어 센서, 서버, 개인 장치, 앱 및 인터넷 브라우저를 포함하여 모든 것이 될 수 있는 무한한 소스에서 나옵니다. 따라서 데이터 구조를 규제하거나 강제하거나 생성되는 데이터의 강도 및 빈도를 제어할 수 없습니다.

최신 데이터 흐름을 처리하려면 데이터 스트림을 한 번에 하나의 데이터 패킷을 순서대로 분석하고 처리할 수 있는 애플리케이션이 필요합니다.생성되는 모든 데이터 패킷에는 소스와 타임스탬프가 있어야 하며, 이를 통해 애플리케이션이 데이터 스트림을 처리하는 데 도움이 됩니다.

데이터 스트림 작업에 사용되는 애플리케이션에는 저장 및 처리라는 두 가지 주요 기능이 필요합니다. 저장의 경우 대량의 데이터 스트림을 순차적으로 일관된 방식으로 기록할 수 있어야 합니다. 처리의 경우 소프트웨어는 저장소와의 상호 작용, 저장된 데이터의 소비, 저장된 데이터의 분석 및 데이터에 대한 필수 계산 실행을 처리할 수 있어야 합니다.

데이터 스트림 구축에는 여러 가지 고려 사항과 과제가 수반되며, 오늘날에는 기업이 스트리밍 데이터 인프라를 구축하는 데 사용할 수 있는 다양한 플랫폼과 툴이 있습니다. 데이터 스트림은 빅 데이터에서 중요한 역할을 하며 데이터 통합 및 데이터 수집은 물론 실시간 분석의 기반을 제공합니다.

레거시 일괄 처리가 실시간 스트림과 다른 점

레거시 배치 데이터 처리 방법의 초기 단계와 비교했을 때 최신 실시간 스트림은 상당히 다를 수 있습니다. 레거시 일괄 처리에서 데이터는 일괄 처리로 수집된 후 필요에 따라 처리, 저장 또는 분석됩니다. 스트리밍 데이터에서 데이터 입력 흐름은 연속적이며 실시간으로 처리됩니다. 데이터가 배치 형식으로 도착할 때까지 기다릴 필요가 없습니다.

오늘날 데이터는 일정한 스트림으로 흐르며 수많은 위치에서 클라우드, 사내 또는 하이브리드 클라우드까지 다양한 볼륨과 형식으로 제공됩니다. 레거시 데이터 처리 방법은 오늘날과 같은 상황에서 거의 쓸모가 없게 되었습니다. 오늘날의 조직에서는 최신의 실시간 데이터 스트림을 사용하여 업무 방식을 혁신할 수 있는 다양한 방법을 제공합니다.

스트리밍 데이터의 이점

다음은 스트리밍 데이터를 실제 작업 환경에 적용하는 방법을 살펴보겠습니다.

경고 향상

스트리밍 데이터가 제공하는 기능의 가장 즉각적이고 분명한 이점은 스트리밍 분석을 지원하는 방법입니다. 이벤트, 이상치 또는 추세가 발생하기 시작하면 즉각적인 피드백을 제공합니다. 경고는 스트리밍의 고유한 측면은 아니지만 알림을 받는 사람이 즉시 응답을 수행할 수 있다는 단순한 사실로부터 중요한 요소로 됩니다. 이는 일괄 처리와 달리 기술적으로 지연이 없기 때문에 발생할 수 있습니다. 다음은 경고가 작동하는 방법에 대한 몇 가지 예입니다.

• 사이버 보안의 경우, 스트리밍 데이터를 사용하여 조사 과정에서 성격 외 행동을 표시할 수 있습니다. 많은 사이버 보안 환경은 네트워크에서 발생할 수 있는 의심스러운 동작을 즉시 식별할 수 있도록 머신 러닝을 선택하고 있습니다. 머신 러닝 출력과 함께 경고 시각화를 사용하는 것은 광범위한 사이버 분석가 그룹이 위협을 감지할 수 있도록 하는 가장 우수한 방법입니다. 이러한 방식으로 기업은 보안 전문가와 개발자뿐만 아니라 더 많은 사람들에게 보안 네트워크를 확장할 수 있습니다.
• 소매 산업은 또한 경고를 통해 막대한 이익을 얻습니다. 매점마다 우선 순위가 다르므로 정보 기술 팀은 코드를 사용자 정의할 수 있는 우선 순위를 지정해야 합니다. 스트리밍 데이터는 낮은 재고 또는 비정상적으로 높은 고객 관심과 같은 것을 감지하는 데 사용할 수 있습니다. 분석 도구는 기술 직원이 아닌 비기술 직원에게 경고를 보내도록 트리거되며, 이를 통해 작업 현장에서 가장 중요한 곳에서 긍정적인 응답을 할 수 있습니다.

기록 및 데이터 스트림 기반 분석 동시 사용

과거 데이터를 실시간 데이터 분석과 함께 사용하여 조직에 비즈니스에 대한 보다 포괄적인 그림을 제공하는 상황은 많습니다. 이를 설명하는 가장 좋은 사용 사례는 금융 기관에 대한 위험 평가입니다. 프로세스는 이미 실행된 과거부터 변경, 이전 또는 폐쇄를 포함하는 현재에 이르기까지 트랜잭션의 전체 순환을 고려합니다.

거래 이벤트를 컨텍스트에 배치하면 이벤트의 거래에 대한 데이터가 조직자가 더 큰 포트폴리오 세트에 적용할 수 있는 패턴을 이해하는 데 도움이 됩니다. 이러한 상황에서 과거 및 실시간 데이터의 분석에서 수집한 정보는 미래 이벤트에 대한 성공과 막대한 손실 간의 차이를 보여줄 수 있습니다.

완전한 기록 생성의 이점

일상 생활, 비즈니스 또는 기타 거의 모든 측면에서 사물 인터넷(IoT)은 전진의 길이며 이미 많은 조직에서 사용하고 있습니다. 그러나 여기서 한 가지 큰 문제는 스트리밍 데이터에서 동일한 기록이 여러 개 생성되어 정보가 중복될 수 있다는 것입니다. 데이터 소스의 추적은 필수적이지만 동일한 정보가 여러 번 반복되는 결과를 낳게 됩니다. 수천 개의 소스 포인트로 인해 문제가 빠르게 발생하고 많은 데이터가 중복될 수 있습니다. IoT 활용을 보다 실행 가능한 옵션으로 만들기 위해 할 수 있는 일은 모든 반복적인 정보를 단일 조회표에 넣는 것입니다. 데이터 스트림을 조회표와 결합하면 반복 문제 없이 완전한 기록을 생성하는 데 도움이 됩니다.

이 솔루션의 예는 제조업체 이름 및 위치에 대한 반복적인 정보와 함께 석유 굴착 장치에서 볼 수 있습니다. 이 두 가지 세부 정보를 조회 표에 배치하고 'manu_id'와 같은 키로 데이터 스트림과 결합하면 많은 양의 데이터 공간을 절약할 수 있습니다. 그런 다음 이 키를 사용하여 위치가 마모, 성능 기능, 추가 유지 관리 요구 사항 등과 같은 다양한 측면에 영향을 미치는지 확인할 수 있습니다. 조회표를 사용하면 비생산적인 시간을 상당히 줄일 수 있습니다.

다른 곳에서는 찾을 수 없는 통찰력

현재 스트리밍 기술을 중심으로 전례 없는 관심과 개발이 이루어지고 있습니다. 이는 기술의 발전에 의해 주도되고 있으며 스트리밍 데이터 분석이 엄청난 비즈니스 가치를 가져온다는 인식에 의해 더욱 추진되고 있습니다. 경쟁에서 우위를 점하려는 기업은 스트리밍 데이터로 전환하여 기존의 분석 접근 방식으로는 얻을 수 없는 통찰력을 얻을 것입니다. 이 기술이 가장 즉각적으로 유익하게 응용되는 일부 영역은 다음과 같습니다.

• 위치 데이터 활용
• 사기 탐지
• 실시간 주식 거래
• 마케팅, 영업 및 비즈니스 분석
• 고객 또는 사용자 활동 모니터링 및 분석
• 내부 IT 시스템 모니터링 및 보고
• 로그 모니터링 지원
• SIEM(보안 정보 및 이벤트 관리)
• 다중 채널에 걸친 소매 및 창고 재고
• 승차 공유 매칭 향상
• 머신 러닝 및 인공 지능 기반 분석에 사용하기 위한 데이터 결합
• 예측 분석의 새로운 길 열기

데이터 스트리밍 애플리케이션 구축의 도전 과제

대부분의 기술 시스템과 마찬가지로 데이터 스트리밍에도 여러 가지 도전 과제가 있습니다. 다음은 데이터 스트리밍 애플리케이션 구축과 관련된 몇 가지 문제점입니다.

작업 환경의 확장성

시스템 장애의 경우, 모든 장치에서 들어오는 로그 데이터가 초당 킬로비트 전송 속도에서 초당 메가비트로 올라갈 수 있습니다. 합계하면 전송 속도는 초당 기가비트까지 확장될 수 있습니다. 이러한 애플리케이션이 확장되고 생성되는 원시 데이터의 양이 증가함에 따라 필요한 용량, 리소스 및 필요한 서버의 증가가 즉시 발생해야 합니다. 작업 환경에서 스트리밍 데이터를 확장할 수 있는 원활한 애플리케이션을 설계하는 것은 다양한 동시 프로세스를 고려해야 하는 까다로운 작업입니다.

순차의 중요성

데이터 스트림에서 데이터의 순서를 결정하는 것은 작은 문제가 아닙니다. 데이터 스트림 내의 데이터 순차는 애플리케이션에서 데이터를 얼마나 잘 활용할 수 있는지에 대한 핵심입니다. 개발자가 봇 채팅 애플리케이션의 문제를 디버그하려는 경우 대화의 순서는 문제가 발생할 수 있는 부분을 확인하는 데서 중요합니다. 집계된 로그 검토의 각 행은 순서대로 정렬되어 있어야 합니다. 문제는 일반적으로 생성된 데이터 패킷의 순서와 데이터 패킷이 목적지 지점에 도달하는 순서의 불일치에서 발생합니다. 타임스탬프와 데이터를 생성하는 장치의 시간에도 차이가 있을 수 있습니다.

일관성 및 내구성 유지

스트리밍 데이터 처리에서 가장 어려운 문제 중 하나는 일관성과 액세스입니다. 생성된 데이터는 일반적으로 전 세계 여러 데이터 센터에 배포됩니다. 한 데이터 센터에서 액세스할 때 이미 사용되어 다른 데이터 센터에서 중복될 가능성이 있습니다. 클라우드에서 데이터 스트림으로 작업할 때 데이터의 내구성 또한 개발자에게도 지속적인 과제입니다.

내결함성 및 데이터 보장

분산 시스템을 통해 스트리밍 데이터를 처리할 때 내결함성과 데이터 보장을 모두 고려하는 것이 중요합니다. 다양한 소스 및 위치에서 다양한 형식과 볼륨의 데이터를 가져오는 경우, 단일 장애 지점에서 발생할 수 있는 중단을 방지할 수 있도록 조직 시스템을 조정해야 합니다. 이러한 시스템은 대용량 데이터 스트림을 내구성 있는 방식으로 저장할 수 있어야 합니다. 이를 보장하는 것은 쉬운 일이 아닙니다.

지속적인 데이터 흐름이 중단되면 시스템도 백업됩니다. 시스템이 중단되는 정보를 저장할 수 없는 경우, 전체 시스템은 지연된 데이터에 대한 무거운 부담을 떠안게 됩니다.

스트리밍 데이터의 미래

SaaS(서비스형 소프트웨어), 모바일 및 인터넷 기반 애플리케이션 사용, 그리고 광범위한 조직에서 데이터 과학 및 고급 분석 기능을 사용하는 것에 대한 빠른 성장과 관심이 계속되어 왔고 앞으로도 계속 이어지고 있습니다. 거의 모든 중견기업에서 대기업까지 진행 중이거나 진행하려는 스트리밍 데이터 프로젝트를 보유하고 있습니다. 이 모든 것은 경쟁에서 앞서가면서 고객 이동 경로, 클릭스트림 데이터 및 유용한 보고서를 생성할 수 있는 몇 가지 다른 사용 사례를 분석하고자 하는 욕구에 바탕을 두고 있습니다.

스트리밍 데이터가 조직 내 소수의 사람들, 주로 빅 데이터 엔지니어와 데이터 사이언티스트에게 집중되던 때가 있었습니다. 이 전문가들은 믿을 수 없을 정도로 복잡한 기술과 Spark, Flink, MapReduce 및 Scala와 같은 스트림에서 작업했습니다. 이들은 비즈니스 분석가 및 비즈니스 인텔리전스 전문가와 협력하여 관계형 데이터베이스에 대한 SQL 쿼리를 실행하는 데 주력했습니다.

새해에 들어서면서 이것은 바뀔 태세입니다. 스트리밍 소스에 의존하는 비즈니스가 점점 더 많아짐에 따라 비즈니스 사용자는 소프트웨어 개발 팀이 진행하던 방식과 마찬가지로 대화형 대시보드 및 임시 분석의 형태로 다른 데이터 세트와 함께 할 수 있는 스트리밍 데이터로 작업할 수 있기를 원할 것입니다. 이렇게 하면 조직 내 계층 전반에 걸쳐 모든 사용자가 데이터에 더 쉽게 액세스할 수 있습니다.