방대한 로그 데이터 중에 필요한 데이터를 찾아서 분석하는 업무를 빠르게 하는 방법은 무엇일까?

모바일게임 '쿠키런' 개발사 데브시스터즈의 김민우 개발자(서버팀 수석)가 11월 5일 서울 코엑스에서 열린 한국국제게임컨퍼런스2014(KGC14) 1일차 강연에서 '쿠키런: 가볍고 유연한 아키텍처로 빠르게 로그데이터 분석하기'라는 주제로 발표를 진행했다.

1년이 넘게 서비스되고 있는 모바일게임 '쿠키런'. 많은 게이머들이 접속해서 게임을 즐기는만큼 쌓이는 로그 데이터도 어마어마하다. 거기에 모바일게임 업계가 발빠르게 변하다보니 게임 콘텐츠도 자주 변경되고, 그러면서 로그의 형식도 자주 변경된다. 거기에 개발과 운영, 데이터 분석까지 같이 하는 데브시스터즈. 김민우 개발자는 이런 현실 속에서 '적당히 빠르게' 데이터 분석을 하는 방법을 찾기 시작했다.

로그 분석의 예를 들어보자. 간단하게는 '오늘 쿠키런에 몇속한 유저가 몇 명인가?', '한 달동안 쿠키런에 접속한 유저는 몇 명인가?' 라는 분석이 있다. 물론 이런 데이터는 플랫폼에서 제공하기도 하지만 개발사도 알고 있어야 하는 경우가 있을 수 있다. 더 나아가면 '고양이가 스마트폰을 밟고 지나가서 내 보물이 팔렸다'는 고객 문의를 해결하기 위해서 '특정 게이머가 특정 시점에 특정 유료 아이템을 정말로 가지고 있었는가?'라는 분석을 하는 것도있다. 여기에 실시간으로 결제 지표가 어떻게 변하는지 알고싶은 경우도 있다. 

이런 분석을 하기 위해서 필요한 데이터는 여러 가지이다. 특정 게이머의 레벨, 특정 게이머가 가지고 있던 아이템과 그 수량, 특정 게이머가 접속한 시간, 특정 게이머가 접속을 종료한 시간 등이다.

유행에 민감한 모바일게임은 이런 분석을 빠르게 하는 것이 중요하다. 문제는 이런 여러가지 데이터가 같은 곳에 저장되지는 않는 다는 것이다. 쿠키런의 경우 결제에 대한 중요한 정보는 데이터베이스에 보관하고 게임로그는 아마존의 S3에 저장한다. 데이터의 용량도 무시할 수 없다. 서버는 텍스트 파일을 로컬 디스크에 남기는데, 압축을 하지 않으면 하루에 200~400기가가 쌓이고 1년치 데이터는 약 10테라 정도가된다. 하나의 문제를 해결하기 위해서는 이렇게 다양한 곳에 다양한 형식으로 분포해 있는 데이터를 종합적으로 분석해야 한다.

그래서 데브시스터즈는 데이터 분석이 필요할 때 분석 시간을 줄여줄 간단한 툴을 그때 그때 만드는데 시간 투자를 했다. 프로그램이 할 수 있는 일은 사람이 하지 말자는 기조였다. 분석에 필요한 '클러스터'(여러대의 컴퓨터들이 연결되어 하나의 시스템처럼 동작하는 컴퓨터들의 집합) 운영비용은 생각하지 말고 필요할 때마다 만들어서 분석했다. 쏟아지는 다양한 로그는 일단 남기고 본다. 분석이 필요하게 되면 나중에 한다는 생각으로. 그리고 툴을 만들때는 누구나 쉽게 분석할 수 있는 툴을 만들었다.

그 결과 3개월치 데이터를 분석한 적이 있었는데, 30~40분 정도에 구하고자하는 데이터가 나왔다. 김민우 개발자는 "전체적인 과정을 모두 한 팀이 하므로 의사소통 비용이 적게 들고 다양한 시도도 가능했다"며 "개발과 운영을 같이하는 장점을 최대한 활용한 것이다"고 말했다.

[김창훈 기자 changhoon@chosun.com] [gamechosun.co.kr]

* 포털 내 배포되는 기사는 사진과 기사 내용이 맞지 않을 수 있습니다. 정확한 기사를 확인하시려면 게임조선 웹진(http://www.gamechosun.co.kr)에서 확인할 수 있습니다.
▶ 게임조선 창간15주년 특집 기사 한방에 보기
▶ 게임의 매력女 팀제이코스 파판14 코스프레 선봬
▶ 웹툰 게임회사 여직원들 작가를 만.나.다!
▶ [기획연재] 게임의 未來, PC온라인-모바일 시장

ⓒ기사의 저작권은 게임조선에 있습니다. 허락없이 무단으로 기사 내용 전제 및 다운로드 링크배포를 금지합니다.