스플렁크(SPLUNK) 머신데이터

 

splunk : 머신데이터 플랫폼

"머신데이터를 아무런 제약 없이 수집->저장->분석->시각화 할 수 있는 실시간 분산 플랫폼 이다."

 

빅데이터는 들어봤는데 스플렁크 하면서 머신데이터(machine data)는 처음들어 봐서 구글링을 해봤다. 그런데 스플렁크에서 정의된 머신데이터밖에 없었다.

 

스플렁크에서 정의한 머신데이터

머신데이터(machine data)는 어디에나 있습니다. 머신 데이터는 비행기와 엘리베이터에서 신호 등, 건강 모니터링 장치에 이르기 까지 모든 장치에서 생성됩니다. 머신 데이터는 매일 수많은 방식으로 인간의 삶에 영향을 미치고 삶의 수준을 향상 시킵니다.

 

더 찾아보니 데이터는 관점에 따라 인간이 만들어내는 데이터와 기계가 만들어 내는 데이터로 구분할 수 있다고 한다. splunk는 이러한 기계가 만들어 내는 엄청난 양의 데이터를 모니터링하고 분석하여 새로운 인텔리저스를 제공해 준다고 한다.

 

머신데이터의 종류

1. 서버/NW로그

 

2. 각종 설비 데이터

 

3. 애플리케이션 로그

 

4. 기타 모든 텍스트 형태의 데이터

 

 

 

 

정말 어디에나 있는거 같다...

 

splunk 성공 사례에는 디스커버리, 테스코등 굵직굵직한 기업과 챈들러 경찰서등 관공서, 의료IT 기업, 철도 기업 등등 수많은 분야가 있다.

 

그 중, 한국 기업인 CJ O SHOPPINGH도 있어서 가져와 봤다.

사업 개요 CJ오쇼핑은 종업원 수 800명 이상, 연 매출 24억 달러에 달하는 글로벌 홈쇼핑 운영기업이다. 1995년 에 설립된 이 기업은 TV(케이블 TV, 위성, IPTV), 카탈로그, 인터넷, 모바일 등으로까지 사업 영역을 확 장해왔다. 특히 모바일과 새로운 미디어 부문에서 아이폰과 안드로이드 기반 스마트폰 앱을 발표한 대 한민국 최초의 홈쇼핑 기업이다. 전국 모바일 홈쇼핑 시장에서 점유율 50%를 차지하고 있는 CJ오쇼핑 은 국내는 물론 해외에서도 온라인 마케팅 및 머천다이징 선두기업으로 인정 받고 있다. 한국 내 종합 2위 쇼핑몰인 CJ오쇼핑의 온라인 쇼핑몰은 수많은 브랜드와 주요 백화점을 확보하여 다양한 제품을 공 급하고 온라인 고객들을 대상으로 고급 쇼핑 서비스를 제공하고 있다. 도전과제 온라인 쇼핑 부문에서 실시간 데이터 분석은 성공적인 매출의 핵심 요소라고 할 수 있다. 안진혁 CJ오 쇼핑 스마트 IT 사업부 상무는 “고객이 제품 리뷰를 클릭하는 방법을 실시간으로 분석해서 이 행동이 실제 구매로 이어지는지를 파악할 필요가 있다”며, “이 데이터 분석의 속도와 정확성이 실시간 주문에 영향을 미친다”라고 말했다. Splunk를 사용하기 전에, CJ오쇼핑은 웹로그(weblogger) 데이터를 분석했던 시스템과 함께 데이터 웨 어하우스 솔루션에 의존했다. 그러나 데이터 웨어하우스 시스템에는 실시간 분석 기능이 없었기 때문에, CJ오쇼핑은 원하는 데이터를 다음 날 받을 수 밖에 없었다. 실시간 데이터를 확보하지 못하는 것은 불 과 1초가 판매와 쇼핑카트 삭제 사이에 차이를 만들어내는 온라인쇼핑 사업에서 기업의 커다란 취약점 이 됐다. 또한, 모바일 장치 사용이 증가하는 추세에서 실시간 정보의 확보는 CJ오쇼핑에 새로운 도전 과제가 됐다. 웹로그 시스템이 웹 기반 온라인쇼핑 관련 정보 접근을 회사에 제공하긴 했지만, 이 시스 템은 새로운 모바일 플랫폼과의 호환을 고려한 시스템이 아니었다. Splunk 도입 모바일 비즈니스 출범 이후, CJ오쇼핑은 2012년 봄, e커머스개발팀을 창설해서 e커머스 시장 환경의 변화에 대처했다. 실시간 트래픽과 고객 로그인 상태의 트렌드 분석에 대한 논의는 회사 전체로 퍼져나 가 빅데이터에 대한 관심을 불러일으켰고, 실시간으로 기업의 모든 이종 데이터 소스를 효율적으로 분 석할 수 있는 종합 솔루션에 대한 필요성이 대두됐다. 마침내 2013년 4월 Splunk를 사용하기 시작했 다. Splunk at CJ O Shopping 운용 효율성 개선에 필요한 실시간 데이터 분석 해결방안 과거 솔루션에 비해 50% 비용 절감 & 하루의 시간 절감 안진혁 상무는 “모바일이 점점 보편화됨에 따라 실시간 데이터 수집이 우리에게 중요한 도전과제였음에 도 웹로그 분석 시스템은 배너 클릭 횟수와 같은 단순한 것만 볼 수 있었고, 시간도 상당히 걸렸다”면 서, “이 시스템은 모바일 플랫폼에서 사용할 수 있는 우수한 시스템이 아니었기 때문에 결국에는 Splunk 소프트웨어를 활용해서 과거 시스템의 한계를 극복할 수 있었다”라고 강조했다. 조철현 CJ오쇼 핑 e커머스개발팀장은 “과거에는 불가능했던 비구조화 데이터 수집이 이제 가능해졌다”며, “실시간으로 도 데이터를 수집할 수 있는데 과거 시스템을 활용한 트렌드 분석에 계속해서 의존했더라면 전혀 불가 능했을 것”이라고 덧붙였다. 조철현 팀장은 “Splunk를 사용한 덕분에 웹로그 분석 시스템에 투입했던 것에 비해 비용을 50% 줄였 고 로그 데이터 분석에서 최대 24시간을 절감할 수 있었다”면서, “이것은 온라인쇼핑 사업에서 굉장히 중요한 시간과 비용의 절감”이라고 말했다. 전략적 프로모션과 소셜네트워킹에 활용하는 실시간 데이터 분석 CJ오쇼핑은 전략적 프로모션에 사용하려는 용도로 Splunk 소프트웨어에서 데이터를 수집하고 분석하고 있다. 안진혁 상무에 의하면, “우리는 인터넷에서 실시간 비디오 스트리밍 서비스를 제공하고 있다. Splunk를 활용해서 프리뷰를 보지만 콘텐츠는 구매하지 않기로 결정한 고객의 실시간 데이터를 이제는 추출할 수 있다. 무작위 프로모션보다는 훨씬 더 효과가 좋다고 판명된 특정 고객들을 대상으로 표적화 된 프로모션을 제공하고 있다. ” Splunk 소프트웨어의 실시간 데이터 수집 기능은 CJ오쇼핑의 몇 가지 소셜네트워킹 서비스에도 적용된 다. CJ오쇼핑 소셜커머스 사이트 오클락(O' Clock)에서 실시간으로 특정 제품을 확인하는 고객들은 이 제 얼마나 많은 사람이 해당 제품에 관심이 있는지 확인할 수 있기 때문에 제품에 대한 흥미와 구매 욕 구가 배가될 수 있다. 조직 전반에 걸친 운영 인텔리전스 Splunk를 사용하기 전에 IT 개발팀은 CJ오쇼핑에서 데이터 추출을 담당했다. Splunk를 사용한 이후로, 운영개발팀은 쉽게 데이터에 접속해서 분석할 수 있다. 따라서 새로운 요구사항이 나왔을 때 대응 시간 이 훨씬 더 빨리진 이유는 운영팀이 IT에 의존할 필요 없이 데이터 통계를 신속하게 처리하고 분석에 관여할 수 있기 때문이다. 안진혁 상무는 “Splunk 소프트웨어의 실시간 분석 기능은 모바일 사회에서 매우 가치있는 솔루션”이라 며, “데이터 크기에 상관없이 Splunk의 활용으로 우리 회사는 다음에 무엇을 할지에 대하여 정보에 근 거한 결정을 내릴 수 있다”라고 말했다. 해외 사이트에서 활용을 비롯해 Splunk를 CJ오쇼핑의 다양한 서비스에 통합시키는 방법에 대한 전사적 인 논의가 진행 중이다. 조철현 팀장은, “Splunk는 상상하는 방식으로 시스템을 만들 수 있는 기회를 사용자들에게 제공하는 솔루션”이라며, “중요한 강점 중에 하나가 우수한 접근성이기 때문에 우리는 더 많은 서비스에 이 소프트웨어를 적용하려고 노력하고 있다”라고 말했다.