어서와, 빅데이터는 처음이지?

작년부터 구글 캘린더를 이용해 라이프 로그를 기록하고 있습니다. 몇 시부터 몇 시까지 일을 했는지, 몇 시부터 웹서핑을 했는지, 자료를 조사하기 위해 걸린 시간은 몇 시간인지, 데이트는 몇 시간을 했는지, 그런 일상의 흐름을 기록으로 만들어 남기는 작업입니다.

저장된 기록은 한 달에 한 번 꼴로 리뷰를 해봅니다. 처음 라이프 로그를 리뷰했을 때는 조금 충격을 받았습니다. 나는 무척 열심히 일을 하고 있다고 생각했는데, 막상 기록된 로그에선 하루에 4시간 30분밖에 일을 하지 않는 것으로 나타났기 때문입니다. 이렇듯 숫자로 보여지는 세상은 우리가 알고 있던 세상과 다릅니다.

새삼스러운가요? 그렇진 않습니다. 인간은 일종의 착각 속에서 세상을 살아갑니다. 통계를 분석해 봤더니 우리가 알고 있던 세상과 다르더라, 숨겨져 보이지 않던 것이 있더라, 는 식의 이야기는 매일 같이 쏟아져 나옵니다. 최근 몇 년간 서점가에서 인기를 끌던 책들도 우리가 얼마나 합리적인 의사결정을 내리지 못하는 존재인지를 구구절절이 설명하고 있습니다.

오케이. 인정합니다. 우리는 비합리적인 동물입니다. 우리는 심사숙고하기 보다 경험에서 배운 것을 통해, 즉흥적으로 문제를 해결하려고 하며, 때론 이성보다 감정이 더 많은 결정을 좌지우지 합니다.

비지니스가 어려운 것도 이런 인간의 특징 때문입니다. 사업의 속성이 ‘사람에게 필요한 것을 제공하고 돈을 받는 것’이라면, 사람이 사거나 이용하고 싶은 상품을 만들어내야만 합니다. 그래서 소비자들을 상대로 설문조사도 하고 전문가들에게 자문도 구합니다. 그렇게 숱하게 고민하고 만들어내도 성공하는 제품은 많지 않죠. 오히려 사람들은 생각하지도 못했던 제품들이 시장을 송두리째 바꿔놓을 때가 많습니다. 그래서 사업은 불확실성의 연속이고, 기업은 이런 불확실성을 최소한으로 줄이기 위해 상당히 많은 노력을 합니다.

그런 와중에 처음 보는 녀석 하나가 문을 열고 들어와 빼꼼히 고개를 내밀었습니다. 어디서 본 듯한 얼굴인데, 새로 왔다고 우깁니다. 당신이 가진 불안감을 자기가 해소시켜 줄 수 있다고 말합니다. 자기가 있으면 고객이 원하는 것을 알 수 있다고 말합니다. 왠 선무당이 사람 잡으러 왔나 싶은데, 자기는 과학적 분석이라고 주장합니다.

그 녀석의 이름은 빅데이터. 스스로 새로운 시대의 주인공 중 하나라고 말하는 녀석입니다.

빅데이터의 발견? 탄생?

일리가 없는 것은 아닙니다. 솔직히 말하자면 빅데이터는 새롭게 ‘만들었다’라기 보다는 ‘발견됐다’고 보는 것이 맞겠지요. 아니, 인터넷과 디지털 기기의 시대가 확산되면서 자연스럽게 태어났다는 것이 더 적당할 것 같기도 하네요. 전세계 휴대 전화 이용자수가 60억명, 인터넷 이용자수가 22억에 가까워진 시대에, 이미 인류는 어마어마한 양의 정보를 디지털 네트워크를 통해 주고 받고 있으니까요. 인터넷을 통해 음악을 듣고, 영화를 보고, 글을 쓰고, 일을 하고, 쇼핑을 하고, 연애를 하는 시대라는 것을 부정하는 사람은 많지 않을 것입니다. 그렇게 개개인이 자신도 모르게, 수도 없이 인터넷에 기록하고 있는 정보가 바로 빅데이터입니다.

빅데이터는 개개인의 인터넷 사용이 많아지면서 저절로 태어났습니다. 그리고 빅데이터라고 불리기 이전부터 우리는 빅데이터에서 만들어진 정보를 일상적으로 이용하고 공유한 것도 사실입니다. 포털 사이트의 실시간 인기 검색어, 인터넷 서점의 추천 도서, 음악 스트리밍 사이트의 인기 음원 탑100 리스트, 최근에는 카드 사용 기록으로 확인한 인기 음식점까지. 그 모든 것이 일종의 빅데이터를 분석해 만들어진 자료들입니다.

그런데 이제와서 왜 빅데이터란 이름을 붙였을까요? 출생신고를 할 때라도 되서?
아니죠. 빅데이터를 주장하는 사람들은 조금 다르다고 주장하겠지만, 이렇게 데이터를 분석하는 방법은 예전부터 사용되고 있었습니다. 데이터 마이닝(data mining)이라 불렸죠. 대규모의 데이터 속에서 체계적으로 어떤 규칙이나 패턴, 특이점을 찾아내는 작업. 신용평가모형, 사기 탐지 시스템, 교통량 조사 등도 모두 이런 데이터 마이닝 기술이 사용됩니다. 쉽게 말하자면 일종의 통계 분석입니다.

그럼 똑같은 것을 가지고 사기를 치고 있는 걸까요? 그렇게 말하기는 조금 어렵습니다. 맥킨지와 IDC의 정의에 다르면, 빅데이터가 데이터 마이닝과 다르다고 여겨지는 지점은 3가지입니다. 이를 줄여 흔히 3V라고 부르는데요- 데이터의 크기(volume), 실시간으로 쌓여가는 속도(velocity), 데이터의 다양성(variety)을 말합니다. 이런 빅데이터가 기록하고 있는 것은 바로 인간의 행동. 인간의 행동을 관찰해 현재 상태의 문제점을 분석하고, 앞으로 벌어질 일들을 예상 하는 것이 빅데이터 분석의 목표입니다.

그러니까 조금 과학적인 예언자죠.

빅데이터와 기업 마케팅의 행복한 만남

앞서 말했듯 인간의 행동은 비합리적이며, 기존의 방식으로는 예측하기 어려운 점이 너무 많습니다. 유유제약이 출시했던 멍 치료제의 마케팅은 좋은 사례중 하나입니다. 처음 멍 치료제를 내왔을 때, 회사는 이 약으로 아이들의 멍을 치료하라고 마케팅을 하고 있었습니다. 그런데 잘 팔리지 않았죠. 왜 그랬을까요?

소셜 네트워크에 올려진 사람들의 이야기를 분석한 결과, 멍 치료제의 경쟁 상대는 당황스럽게도 달걀과 쇠고기였다고 합니다. 대부분의 사람들은 멍 치료제가 있다는 것도 모르고, 대부분 멍이 들었을 때 민간 요법에 의지하고 있었습니다. 그리고 다이어트를 하다가 생긴 멍에 대해 고민하는 여성들이 많았고요. 한 마디로 시장은 따로 있는데 엉뚱한 곳만 공략하고 있었던 셈이죠.

이런 인사이트는 빅데이터 분석이 아니면 얻기 힘듭니다. 최근 비지니스에 빅데이터 분석을 결합하려는 시도가 자꾸 이뤄지고 있는 것도 이런 이유입니다. 갈수록 복잡해지는 시장에서, 고객이 어떻게 행동할 지, 시장이 어디에 있는지 알 수 있다면 정말 대단하지 않나요? 고객들의 행동 패턴, 감정 표현 등을 분석해 실제 제품의 이미지와 강점, 약점을 분석하고, 새로운 시장들을 확인할 수 있다는 것이 얼마나 매력적인 지는 상품 기획을 해 본 사람이면 모두 공감할 것입니다. 게다가 이런 분석을 마치면 결정권자를 설득할 수 있는 데이터까지 얻을 수 있습니다. 브라보!

여전히 뭔가 예전에 해왔던 일과 비슷하게 보인다면, 음, 모른 척하기로 합시다. 아뇨아뇨, 당신 생각이 맞아요. 빅데이터 분석을 통해 얻어지는 자료들은 예전에 소비자 리서치를 통해 얻어지는 자료와 형태상으로 크게 다르진 않습니다. 다만 귀찮은 설문 조사나 핵심 그룹 인터뷰 같은 것을 거치지 않아도 되니, 자료를 얻을 수 있는 속도가 빠릅니다. 생각하지 못했던 ‘소비자의 감정’ 같은 것을 쉽게 발견할 수 있는 것은 부수입이라고 쳐도요. 그래도 뭔가 약간 걸리는 것이 있다면, 넘어갑시다. 누군가의 이익은 언제나 누군가의 손해를 동반하는 법이니까요.

익명의 감시 사회, 빅데이터는 아무런 대답도 제시하지 않는다

빅데이터 분석을 중요하게 여기는 사람들은 이렇게 말합니다. 이제 데이터 기반으로 결정하는 문화를 만들 때가 됐다고. 어렵지 않습니다. 우리는 이미 그런 사회에서 살고 있으니까요. 시청률이 떨어지면 좋은 TV 프로그램이라도 당장 잘리고, 지지율이 높아지면 거짓 선거 공약이라도 서슴없이 내세웁니다. 내가 검색한 키워드를 이용해 포털 사이트에선 내게 맞는 맞춤 광고를 보여줍니다.

유감스럽지만 우린 이미 데이터 기반으로 결정하는 사회에서 살고 있으며, 그 사회를 지탱하는 논리는 ‘이익’입니다.

그런 점에서 사람들의 기록된 행동을 분석하는 일은 예전의 데이터 마이닝과 본질적으로 다른 점이 있습니다. 기업 인사이트와 연결된 빅데이터 분석은 사람들을 감시하고 추적하는 것을 관찰이라 생각하며, 그것이 당연한 일인양 포장하고 있다는 점입니다. 자연스럽게 투영된 “기업에 좋은 일은 모두에게 좋은 일”이라는 신자유주의의 논리. 빅데이터 분석을 통해 유용하게 얻을 수 있는 인사이트는 한둘이 아닐텐데, 현재 빅데이터와 관련된 이야기는 모두 기업의 ‘비지니스 인사이트’에만 함몰되어 있는 상황입니다.

하지만 빅데이터 분석의 기본은 관찰입니다. 관찰을 시작하기 위해서는 “질문”이 필요하고, 이 질문이 어떤 것이냐에 따라 관찰을 통해 얻을 수 있는 대답도 모두 다릅니다. 현대 카드 사장이 “식당이나 카페에서의 카드 사용 통계를 보면 여성 회원의 사용이 더 많은 장소를 찾기가 불가능 … 불쌍한 남자들, 언제까지 이러고 사실건가”라고 남긴 트윗을 보면 결국 문제는 해석에 달려있다는 것을 여실히 알 수 있습니다. 빅데이터 분석의 근간을 이루고 있는 행동주의 사상이 비판 받았던 지점도 바로 거기입니다.

오케이. 뭐, 이미 공개된 자료를 사용해 감시, 관찰하는 것까지는 말릴 수 없다고 합시다. 이를 부정하면 대부분의 관찰을 기반으로 한 연구는 수행할 수 없는 것이 사실이니까요. 그리고 다들 확인하지 않겠지만, 대부분의 웹 서비스 가입시 동의하도록 되어있는 개인정보 취급방침에는, 이미 이에 대해서 설명을 해두고 있습니다. 문제는 다시 사람이다. 어떤 질문을 하느냐에 따라 관찰 결과도 달라지고, 거기서 내놓을 수 있는 해답도 달라집니다.

앞서 말했듯, 사람은 결코 쉽게 예측할 수 있는 동물이 아닙니다. 세계에서 가장 큰 빅데이터를 다루고 있을, 우메다 모치오가 <웹진화론>에서 말했듯 ‘신의 관점에서 내려다 보는’ 구글에서도 해결하지 못하고 있는 문제입니다. 빅데이터 분석은 분명 유용하고, 새로운 인사이트를 우리에게 제시해 줄 수도 있습니다. 하지만 사람에 대한 이해, 적절한 질문이 수반되지 않는다면, 빅데이터 분석은 결코 빅앤써가 되지는 못할 것입니다.

그런데 “좋은 질문”은, 빅데이터보다도 훨씬 어려운 문제란 말이죠…

출처원문 : 어서와, 빅데이터는 처음이…지?