BI, 내가 그렇게 나쁩니까?

대시보드가 전하는 내용은 간단하고 명확하여 가까이 두고 자주 보기 좋다. 하지만, 대시보드에게 우리는 말을 붙일 수가 없다. 네가 그렇게 나쁘다.

21세기 들목에 Salesforce가 소프트웨어의 종말(The End of Software)을 이야기했을 때 소프트웨어가 세상에서 사라질 거라는 뜻은 아니었다. 그건 소프트웨어가 판매되고 운영되는 전근대적인 방식에 대한 도전이었다.

전통적 소프트웨어는 그걸 사는 사람과 실제 쓰는 사람이 다르기 쉽고 영구 라이선스를 구입하고도 업그레이드를 위해 지속적으로 돈을 지불해야 하거나, 고생스러운 구축 작업이 수반되는 등 그 도입과 사용의 과정에 불만을 느끼는 사람이 많았다.클라우드 서비스를 구독(SaaS)하는 방식이 소프트웨어를 도입하고 사용하는 대세로 자리 잡은 현시점에서 돌아보면, Salesforce의 선언은 옳은 것이었다.

The End of BI

나는 BI(Business Intelligence) 도구의 종말을 이야기하고자 한다.

BI의 소용이 다했다는 주장이기보다는 현업들이 데이터를 소비하는 유일한 도구인 BI와 사용자가 관계 맺는 방식에 근본적인 변화가 필요하다는 문제의식을 담고 있다.

아래에서 BI의 문제점을 짚고, 그 진화 방향에 대한 생각을 나누겠다.

BI(Business Intelligence) 도구란?

너무 큰 것은 실물감을 갖기 어려운데 데이터 저장소(Data Warehouse/Lake)에 담긴 많은 양의 데이터 역시 그러하다. 실물감을 가지려면 데이터가 물질의 형태을 띠고 성질(속성)을 갖게 해야한다. 데이터에 물성을 부여한 것이 차트이고, 차트를 서사구조 속에 배치한 것이 대시보드이다. 사용자가 소비하는 최종 결과물로서의 BI는 대시보드와 동일한 함의를 지니고 있다.

단순한 지표(수치) 확인을 넘어서 질문하고 답을 찾는 것까지 나아가야

전통적 BI는 데이터 원천에서 데이터를 수집, 자체의 데이터 저장소에 저장, 비즈니스 로직에 맞추어 가공, 차트 형태로 시각화해 보여주는 등 다양한 역할을 담당해왔다.

데이터를 둘러싼 환경이 복잡해지고 데이터에 대한 요구가 다양해짐에 따라, 전통적인 BI의 기능들이 빠르게 해체되고 있다. 대부분의 영역들은 전문 기술과 도구가 전담하게 되었고, BI는 최종 사용자가 데이터를 잘 소비하는 일 하나만 잘 하도록 요구받고 있다.

데이터 소비자 관점에서 사용자가 BI에게 바라는 것은 두 가지이다.

• 지표를 차트/대시보드 형태로 시각화하는 일 : BI가 이미 잘 하고 있는 것
• 지표와 관련된 그때 그때 질문(ad-hoc questions)에 대한 답을 데이터에서 찾는 일: BI가 앞으로 잘 해주길 바라는 것

BI에서 Analytics으로 넘어가는 간극이 너무 크다.

조직 내에서 데이터를 의사결정에 활용하는 일은 통상 아래의 순서로 진행된다.
1. 대시보드 통해 주요 지표의 추이와 현황을 확인; 지표 하락; 질문(왜 하락했나요? 뭘 다르게 해야 하나요?)
2. 질문과 관련한 데이터 확보; 분석가가 Analytics 보고서 작성; 데이터 기반 의사결정

문제는, 대시보드의 구체적 차트에서 촉발된 질문에 답하기 위해, 분석가든 현업이든 차트와 관련된 데이터셋을 담당자에게 부탁해 구해야 하고, 해당 데이터셋을 별도의 도구(R, Python, Tableau 등)를 통해 EDA(탐험 분석)이나 통계적 분석을 해야 한다는 데 있다.

하지만, 조직 내 보통 사람들(현업, 실무자)은 여전히 질문과 관련한 데이터셋에 닿는 길이 막혀 있고, 어렵사리 손에 넣은 데이터를 다룰 일에 아득하다. 혹여 Analytics 보고서와 대시보드의 내용이 다르기라도 하면(대시보드에 사용된 데이터셋과 분석/보고를 위해 구한 데이터셋이 달라 내용이 다르기 쉽다), 어떤 숫자를 신뢰해야 할지 막막해진다.

BI에서 Analytics으로 넘어가는 간극이 너무 크다.

Self-Serve Analytics가 어려운 이유

“Self-Serve Analytics”은 조직 내 보통 사람들이, 데이터/IT 전문가의 도움 없이, 사업 성과나 운영효율성 지표 질문과 관련된 데이터에 쉽게 접근하여, 데이터에서 정량적 답변을 스스로 구하는 일을 뜻한다.

Tableau, PowerBI와 같은 Self-Serve BI 도구는 IT 부서의 도움 없이(혹은, 최소한의 도움으로) 부서 자체에서 대시보드를 만들어낼 수 있다는 측면에서 대시보드의 민주화에는 기여를 했지만, 보다 깊은 탐험 분석이나 모델링을 통한 통계적 분석은 여전히 data analyst나 data scientist에 의존해야 하는 것이 현실이다.

대시보드를 뚝딱 만드는 “Self-Serve BI”를 뛰어 넘어 질문에 대한 답을 데이터에서 뚝딱 구하는 “Self-Serve Analytics”이 잘 안되는 이유는 그렇게 만만하지 않지만(복잡다단하고 구구절절함) 구조화하면 아래처럼 요약할 수 있다.

• 질문에 대한 분석을 할 수 있는 잘 편성된 데이터셋 구하기 어려움 (정보 보안 장벽, 의사 소통 비용)
• 주어진 데이터를 다양한 관점과 가설로 분석하기 어려움 (시간/스킬 부족, 도구의 한계)

HEARTCOUNT ABI, Self-Serve BI가 Self-Serve Analytics을 만났을 때

BI와 Analytics 간 장르의 구분이 인위적인 면이 없지 않지만, 조직 내에서 데이터를 의사결정에 활용하는 일은 통상 a. BI: 대시보드 통해 지표 현황/추이 확인, b. Analytics: 그때 그때 질문에 답하기 위한 ad-hoc 분석 순으로 진행된다고 했다.

현업이 주체적으로 데이터를 소비하려면, 의당 분리되지 말았어야 했으나 분리되어 있는 이 두 가지 프로세스는 통합되어야 한다. 그래서, 현업들이 타인의 도움 없이 데이터 소비의 두 가지 방식 간에 자유롭게 넘나들 수 있어야 한다.

• 대시보드 보다 의문점 발생; 관련 데이터셋으로 탐험/통계적 ad-hoc 분석
• 탐험/통계적 분석에서 새로운 패턴 발견; 대시보드 반영; 상시 모니터링

전통적 BI 도구(대시보드)와 ad-hoc 질문에 대한 답을 찾기 위해 사용하던 Analytics 도구의 기능을 데이터셋을 연결 고리로 하여 결합한다면, 사용자의 데이터 소비와 관련된 워크플로우를 하나의 도구 안에 온전히 담아낼 수 있다. 또한, 데이터를 다루는 조직 내 다양한 역할들 간의 협업 역시 쉬어질 터이다.

BI와 헤어질 결심 되셨나요?

BI와 Analytics이 유기적으로 하나의 workflow로 통합되었을 때 가능한 것들과 해결해야 할 것들에 대해서는 다음 글에서 자세히 다루기로 하겠다.