데이터 분석 보고서를 쓰는 두 가지 방법

들어가는 말 - 데리다의 차연(차이와 지연) 개념

프랑스의 포스트모더니즘 철학자 자크 데리다의 차연(differance: 차이와 지연이라는 의미로 데리다가 처음 만든 개념)에 대한 이야기부터 시작해 보려고 합니다.

차연은 우리가 텍스트를 통해 세계를 해석하는 방식에 관한 이론입니다. 데이터 보고서는 데이터라는 텍스트에 대한 해석이라는 의미에서 차연 개념이 생각해 볼 거리를 제공해 준다고 생각합니다.

차연이란 한 단어(a)의 의미는 다른 단어(b)와의 차이에 따라 규정되고, 그렇게 생성된 의미는 필연적으로 지연될 수밖에 없는데, 다른 단어(b)의 의미 역시 또 다른 단어(c)와의 차이를 통해서만 해석될 수 있기 때문입니다.

데이터 분석 보고서 작성 맥락에 차연 개념을 적용해 봅시다. 데이터 보고서 작성은 결국 우리 회사의 주요 경영 지표를 개선하기 위한 사실, 지식, 영감 생성을 위한 활동이고, 보고서는 지표의 차이(시간의 흐름에 따른 차이; 범주에 따른 차이)를 정량적으로 계산하고 해석하는 작업에 다름 아닙니다. 의미(지식)는 차이를 이해하는 일에서 시작하고, 차이는 결국 다른 무엇과의 상대적 차이인지라, 비교 대상이 추가됨에 따라 그 해석도 계속 지연될 수밖에 없습니다.

여기까지 읽고 공감하는 부분이 있다면, 데이터 보고서를 작성하는 전통적 방식(아래 첫번째 방법)과 지연을 통한 차이에 대해 열린 해석을 제공하는 새로운 방법에 대한 아래 내용을 계속 읽어 보셔도 좋겠습니다.

첫 번째 방법 - 의미의 지연없이 자기완결적인 인사이트를 전달하는 방식

여기를 보면 과거 기수별로 운영했던 하트카운트 데이터 교육 프로그램인 "데이터 히어로"에 참여했던 분들의 다양한 데이터 분석 보고서를 확인할 수 있습니다.

이들 보고서의 공통점은 말미에 "Insight"를 제시하고 있다는 점입니다. 하지만 아쉽게도 현실은, 하나의 올바른 정답이 있기 어려운 open-ended 질문(왜? 어떻게?)에 대한 보고서의 경우 (actionable) insight라고 정리된 내용들이 피보고자의 공감과 행동 변화를 가져오는 경우가 많지 않습니다.

피보고자를 포함한 우리의 세상에 대한 믿음과 그 믿음에 근거한 행동 변화를 보고자가(타인이) 발견한 사실과 견해로 바꾸는 일이 그만큼 어렵기 때문입니다.

System 1 vs. System 2 Thinking

조직이 더 나은 의사결정을 내리도록 돕는 일의 목적은, 특히 데이터를 활용한 의사결정에 대해 이야기할 때, System 2(이성적 사고)가 더 잘 작동할 수 있는 근거를 제시하여 System 1(경험과 직관, Heuristics)의 충동적인 기질을 극복하는 것이라고들 말합니다. 직관보다는 데이터에서 발견한 통찰에 더 의존해야 한다고, 조직의 모든 구성원들이 데이터를 사용하여 이성적으로 추론하는 일에 더 능숙해져야 데이터의 가치가 실현될 수 있다는 주장이 못처럼 우리 귀에 박혀 있습니다.

하지만, 저는 이런 주장이 비현실적이라고 생각합니다. 그리고, 이런 (그릇된) 복음이  데이터를 다루는 실무자들을 좌절하게 하는 이유라고 생각합니다.

대니얼 카너먼의 핵심 주장은 우리는 결국 System 1의 무의식적인 영향에서 도망칠 수 없다는 것입니다. 조직 내의 모든 의사결정에 논리적이고 분석적인 사고를 적용해 결론에 도달해야 한다는 주장은 System 1의 힘을 과소평가한 낭만적 이야기입니다. 데이터 분석 도구가 아무리 똑똑해져도, 분석 보고서의 "Insight"가 아무리 주옥같은 내용을 담고 있던 간에, 대부분의 의사결정은 System 1을 통해 이루어지게 될 것입니다.

두 번째 방법 - 의미를 지연시키며 의사결정권자의 영감을 불러일으키는 방식

의사결정권자들이 사업을 둘러싼 세상의 작동방식에 대한 지식과 이론(baseline mental model)을 한 번 갖추게 되면, 일개 데이터 분석 보고서가 그들의 생각과 행동을 바꿀 가능성은 낮습니다.

데이터 보고서를 작성하고 해당 결과를 보고하는 다른 선택지가 있다고 생각합니다. System 1과 싸우지 않고, System 1과 함께 일하는 방식입니다.

데이터를 텍스트로 본다면, 데이터라는 텍스트의 문제는 데이터라는 텍스트 바깥을 끌어들이지 않고서는 데이터를 제대로 설명하기 어렵다는 점입니다. 데이터는 우리가 궁금한 것들의 편린들을 담고 있기 때문에 데이터를 해석한 사실관계(factoids)만으로 "자기완결적"으로 세상을 설명할 수 없습니다.

데이터에 대한 해석이 데이터라는 텍스트의 태생적 한계로 자기완결적일 수 없고 데이터 밖의 Context(의사결정권자의 mental mode) 안에서만 온전히 해석될 수 있다면, 데이터 보고서 작성자가 섣부른 결론을 내리는 것 대신 의사결정자가 주체적으로 해석할 수 있는 길을 열어 놓는 것이 제가 제시하는 두번째 보고서 작성 방식입니다.

정물화를 담고 있는 데이터 보고서 말고 생물처럼 살아 움직이는 데이터 보고서

그러기 위해서는, 의사결정권자가 보고서를 통해 자신의 mental model을 의심하게 하는 영감의 순간을 가져올 수 있어야 하고, 영감의 순간이 촉발한 호기심(추가 질문)에 바로 답변할 수 있어야 합니다. 하나의 사실관계를 담고 있는 정적인 차트 대신, 추가 질문(ad-hoc questions)에 대해 보고의 현장에서 바로 답할 수 있는 도구가 필요합니다.

꼭 꼬집어서 한 질문(이번달과 지난달 매출 차이)에 대해 데이터로 답변한 경우, 추가 질문(상품별 차이)으로 해석이 지연되는 경험 모두 해보셨지요? 데리다가 차연(differance)이라는 개념을 통해 텍스트의 의미가 새로운 단어(범주)의 개입에 의해 계속 지연될 수밖에 없다고 이야기한 것처럼, 매출 차이를 서로 다른 상품으로, 서로 다른 고객군으로, 지역으로, 또 그것들의 조합으로 해석하다보면, 데이터 보고의 과정은 계속 지연될 수밖에 없습니다.

추가 질문(ad-hoc question)에 즉시 답하고, 정량적 사실(factoids)를 제시할 수 있어야 합니다. 아래 보고서 작성 실습에서 이게 어떻게 가능한지 보여 드리겠습니다.

실습 시작하기 전에

실습을 시작하기 전에, Exploration Exploitation Dilemma라는 개념과 HEARTCOUNT의 데이터 보고서 작성 문제에 대한 접근 방식을 간단히 짚고 넘어가겠습니다.

Exploration vs. Exploitation

"Exploration Exploitation Dilemma"는 (불완전하지만) 이미 알고 있는 지식을 활용하는 '착취(Exploitation)'와 새로운 미지의 옵션을 시도해보는 '탐사(Exploration)', 이 두 가지 선택 사이의 균형을 찾는 문제입니다. 예를 들자면, 우리가 식당을 선택할 때 이미 가본 맛집을 재방문하는 것(착취)과 새로운 식당을 시도해 보는 것(탐사) 사이의 선택과 유사합니다. 이 두 전략 사이에서 최적의 균형을 찾는 일은 장기적인 보상을 극대화하는 것을 목표로 삼는 많은 의사결정 문제에서 매우 중요한 문제입니다.

데이터 보고서에서도 익숙한 관점(상품군별 매출 차이)으로 보고서를 완결적으로 제시하는 Exploitation 방식과 새로운 관점(상품군 x 시간대별 매출 차이)으로 새로운 사실을 발견하려는 Exploration 간의 균형은 중요합니다.

그간 오로지 실무자의 역할로 여겨졌던 탐험 분석(Exploratory Data Analysis)이 의사결정권자에게도 허용되어야 한다고 생각합니다. 우리 조직의 장기적 보상 최대화를 위해서 mental model이 바뀌어야하는 사람은 바로 의사결정권자입니다.

의사결정권자가 데이터를 탐험하고 탐색하는 과정을 통해 도파민이 뿜어져 나오는 일, 뇌 속에 새로운 회로가 이어지는 일을 경험해야 합니다. 데이터 기반 의사결정이 구호가 아니라 돈이 되는 일이 되기 위해 반드시 필요합니다.

Data Analysis Report Generation in HEARTCOUNT

데이터로 실무자가 해야되는 일(Data Jobs-to-be-Done)을 데이터 보고서를 작성해야 하는 생성형(Generation) 업무와 질문에 빠르게 답변해야 하는 Questions-Answering 업무로 구분해 볼 수 있고 각각의 업무(Jobs-to-be-Done)에 대한 HEARTCOUNT의 접근 방식은 아래 그림과 같습니다.

이 중 데이터 분석 보고서 작성 관련 기능인 Dialogue에 대해 더 자세히 알고 싶으시면 여기를 참고해 주세요.

아래 실습에서는 엑셀을 가지고 EDA와 Dialgoue로 몇 가지 가설들을 정량적으로 살펴보고, Augmented Analytics 기능을 통해 가설을 통해 발견한 패턴의 상대적 쓸모를 확인하고, 뻔하지 않은 패턴(unknown unknowns)을 찾아서, 추가 질문(ad-hoc question)에 즉시 답할 수 있는 방식으로 보고서에 담는 과정을 보여드리겠습니다.

보고서 작성 실습

위 가이드에 따라, 아래 세가지 질문에 대한 보고서를 작성해 보겠습니다.

1. 의료 보험 청구액의 차이를 가져오는 주요 요인 이해
2. 보험 청구를 한 고객과 그렇지 않은 고객의 특성 차이 이해
3. 보험 청구하지 않을 확률이 높은 고객 세그먼트 발견

(클릭) 실습 내용 영상으로 보기

맺는 말 - "행동가능한 통찰"말고 "지식 생산"

조직 내에서 데이터 또는 데이터 분석가의 책무가 뭐냐고 묻는다면, 많은 사람들이 행동가능한 통찰(Actional Insight)를 제공하여 사람들이 더 좋은 결정을 내리도록 돕는 것이라고 이야기할 것입니다.

하지만, "Actionable Insight"는 영화 올드 보이의 "오늘만 대충 수습하며 살고자"해서 오대수라고 하는 주인공을 떠올리게 합니다. 데이터가 오늘의 질문을 대충 수습하는 일을 뛰어 넘으려면, 사실의 제공 대신 의사결정권자의 mental model을 바꾸는 일에 기여해야 합니다. System 1과 지는 싸움을 하지 말고, System 1과 함께 일해야 합니다. 편협하고 편향된 사고를 거부하기 보다는, 편향을 정교하게 최신의 정보로 업데이트해야 합니다.

"특정" 상황에서 "특정" 패턴이 발견되었으니 "특정" 행동을 취하는 편이 좋겠다는 내용을 담고 있는 보고서는 System 1을 바꾸지 못합니다.  해당 발견이 새로운 지식과 이론이 아니라 우연이라고 치부하게 되기 때문입니다. 이론과 지식은 사람들에게 세상을 다르게 보라고 요구하는 힘이 있습니다. 이론은 우리를 멈추게 하고 반추하게 만들지만, 단편적인 사실과 통찰에 우리는(System 1) 꿈쩍도 하지 않습니다.

"행동 가능한 통찰" 대신 세상에 대한 지식과 이론을 전달하는 일이 위에서 이야기한 "추가 질문에 즉시 답변 제공이 가능한 데이터 보고서 작성 방식"만으로 해결되지는 않겠지요. 하지만, 우리의 데이터 보고서가 새로운 지식과 이론의 생성으로 의사결정권자들의 System 1(직관적 생각)을 바꿀 수 있다면, 그 영향은 창대할 것입니다. 데이터 분석이 기업 내 당당한 존재 이유를 가질 수 있으려면, 우리가 계속 붙들고 끝끝내 해결해야 하는 문제입니다.

#데이터 분석 보고서 태그가 달린 글들 살펴보기