Dialogue, 너 내 EDA 동료가 돼라

여러분을 위한 데이터 선생님, HEARTCOUNT Dialogue를 소개합니다

‘빅데이터는 21세기의 석유다’라는 선전이 공허하게 들리는 가장 큰 이유는 대부분의 경우 원유 상태의 데이터를 가치와 쓸모를 가진 석유(인사이트)로 정제할 만한 실력이 없기 때문일 것입니다. 데이터 분석을 배워서 내 비즈니스와 업무에 적용해 보자는 구호는 희망차지만, 현실은 그렇게 녹록지 않습니다. 적게는 수백 시간, 많게는 수년을 배워도 여전히 아리송한 데이터 분석 세계에서, 내 일하기도 바쁜 현업 직장인들이 전문가가 되어 인사이트와 가치를 뽑아내는 실력을 갖춘다는 것은 만만치 않은 일입니다.

HEARTCOUNT는 ‘전문가’와 ‘현업 일반인’ 사이의 넓은 틈에 다리를 놓기 위하여 지속적으로 노력하며, ‘현업들이 데이터에서 쓸모 있는 패턴을 자동으로 찾을 수 있는 자동 데이터 분석 도구’를 목표로 이에 걸맞은 제품을 만들기 위해 각고의 노력을 기울여 왔습니다. 이번 2023년 11월에 공식 release 된 HEARTCOUNT의 Dialogue 기능은 그러한 철학과 중심을 더욱 정교하게 담아내고자 한 결실입니다. Dialogue는 주어진 시각화에 대해서 정량적인 사실을 텍스트의 형태로 요약해 주고, 해당 텍스트로부터 다음 분석의 방향을 문답 형식으로 제시해 줌으로써 현업 사용자들이 데이터로부터 신속하게 사실을 확인하고 인사이트를 도출할 수 있도록 돕습니다.

산파술, '적절한 질문'을 던져 지식을 '생산'하는 방법

데이터 분석 세계에 처음 발을 들이게 되면 배우는 것이 바로 탐험 데이터 분석(Exploratory Data Analysis, EDA)입니다. 그런데 EDA는 잘할 줄 아는 사람이 하면 ‘탐험’이고, 아무것도 모르는 사람이 하려 하면 ‘막막함’입니다. EDA는 전통적인 통계 분석처럼 가설을 수립하고 그 가설에 대한 검정을 통해 결론을 도출하는 것이 아닌, 무엇이 중요할지 모르니 모든 길을 다 파 보는 것입니다.

문제는 어느 길부터 가 보아야 할 지조차 막막하다는 것이겠지요. 대부분의 현업 직장인의 경우, 각자가 처한 비즈니스 맥락에서의 막연한 질문( “이번 달 매출이 도대체 왜 떨어졌을까?”)은 있으나 그 질문으로부터 인사이트를 끌어낼 분석적 추론 능력의 부재로 인해, 적당히 시각화 라이브러리나 엑셀 등의 도구를 이용해 해당 질문에 대한 그림을 그리는 수준에서 그칩니다. 원유가 어디서 나올 지도 알고, 비싼 돈 주고 시추기도 사 왔는데, 어떻게 쓸 지를 몰라서 아무것도 못 하는 격이겠지요.

그럼 도대체 어떻게 해야 할까요? 당장 내일까지 보고서는 써야 하고, 결론은 내려야 하는데 말이죠. 최대한 남은 시간 안에 모든 가능성을 다 시도해 보고, 그중에서 부장님한테 덜 혼날 것 같은 식상한 바 차트 몇 가지를 골라서 뻔한 이야기(“이번 달에 매출이 가장 적은 상품군은 가구였네요”)만 늘어놓을 수밖에 없을까요?

내가 '아무것도 아는 것이 없다'는 것을 아는 것만이 참된 지혜다
The only true wisdom is in knowing that you know nothing

소크라테스는 무지에 빠져 있는 제자들에게 이런 말을 남기며, '문답법' 혹은 '산파술'이라고 흔히 알려진 비판적 사고방식을 개발했습니다. 단순히 무지의 안갯속에 빠져 있는 자신의 제자들에게 금세 휘발되어버릴 정답을 주입식으로 가르쳐 주는 것이 아니라, 적절한 질문을 던져주는 것입니다. 이를 통해 제자들이 자신이 무지하다는 사실을 스스로 깨우치고, 안개를 헤치며 길을 찾아갈 수 있도록 돕는 것이 더 현명한 방식이라고 그는 생각했습니다. 스승이 던진 질문에 대해 제자는 스스로 정답을 찾고, 정답이 자연스레 다음 질문을 낳는 일을 반복하며, 사고의 지평이 확장되는 지식 생산의 현장이 펼쳐졌습니다. 좋은 질문이 일종의 지식 산파 역할을 한 셈입니다.

EDA의 맥락에서 생각해보면, “이번 달 매출이 도대체 왜 떨어졌을까?”라는 막연한 질문(high-level question)에서부터 시작하여 그다음 걸음을 어디로 내디딜지 막막한 일반 현업들에게 필요한 것은 단순히 그림 그리기 좋은 툴이나 쿨한 기능이 아닐 것입니다. 오히려 개인의 분석 역량 및 사고 능력의 지평을 확장하고, 그로 인해 각자가 가진 데이터로부터 인사이트를 쉽게 도출할 수 있도록 돕는 것이 필요하리라 생각합니다. 스스로 [질문-답변-질문-...]이라는 연결고리에서 주체적으로 생각해보고, 그다음에 다시 벽을 만났을 때에는 이전보다 더 쉽게 뛰어넘을 수 있도록 해 주는, 산파 역할을 해 주는 것 말이죠.

그래서 HEARTCOUNT는 Dialogue 기능을 통해 그 역할을 감당해보고자 합니다. Dialouge는 실무자가 본인의 '비즈니스 역량'을 '데이터 이해'와 결합하여 좋은 의견을 형성하고 새로운 관점을 형성할 수 있도록, 질문할 줄 몰랐던 것을 대신 물어 주고 정확하고 다양한 사실과 관점을 제공합니다.

그래서, 어떻게 쓰는 건가요?

Dialogue가 어떻게 작동하는지 알아보기 위해, Superstore 매출(Sales) 데이터를 통한 예시를 확인해봅시다. '올 한 해의 월별 매출을 확인해 볼까?'라는 광범위한 질문에서부터 출발해 볼까요?

먼저, '주문 월' 별 '매출(Sales)'의 총합을 Smartplot을 통해 바 차트 형식으로 그린 후, Dialogue 버튼을 눌러 보겠습니다.

매출의 차이가 가장 컸던 두 달은 12월과 2월(약 1.04M$)이었음을 확인했습니다. 여기에서 질문을 더 던져 볼까요?

그렇다면, 사무용품(Office Supplies)의 매출 차이가 가장 차이가 컸던 지역은 어디었을까요?

'올 한 해의 월별 매출을 확인해 볼까?'라는 막연한 질문에서부터 시작하여, 질문이 정량적 사실을 낳고, 정량적 사실은 해석을 낳고, 해석이 새로운 질문을 낳는 과정을 살펴보았습니다. Dialogue와 함께라면, 질문을 던지고 데이터에 숨겨진 패턴을 찾아가는 과정이 더 이상 지루하거나 막막하지 않으시리라 기대합니다.

마치며

HEARTCOUNT를 개발한 팀 HEARTCOUNT는 IDK Squared(IDK^2, I don't know what I don't know)라는 회사에 소속되어 있습니다. 무엇을 모르는지도 모르는 막막함 속에 처해 있는 막연함 속에 처한 우리, 그렇기에 데이터를 진심으로(HEART) 헤아려 보겠다(COUNT)는 진심이 어려 있는 사명(社名)입니다.

팀 HEARTCOUNT의 양승준 대표님께서 관련하여 몇 달 전 쓰신 글에서도 언급하셨듯이, “데이터 분석의 뉴 프런티어란 데이터 분석이 필요 없는 곳이다”라는 말이 현실이 되는, 현업 직장인들의 데이터 현장을 만들어보는 한 걸음을 더 내딛은 셈입니다.

Dialogue와 함께 길을 따라가다 보면, 막연했던 질문에서 인사이트까지 도달하는 데에 걸리던 시간(Time-to-insight)이 줄어들고, 구독자 여러분 개개인의 삶의 질과 비즈니스 내 데이터 활용 수준이 한층 더 높아지기를 기대해 봅니다. 그때까지, 저희가 같이 질문하고 고민해 드릴게요.