데이터에서 Noise를 쫓는 일의 덧없음
데이터 분석의 목적은 지식 생산입니다. A때문에 B가 발생했으니 A를 더(혹은 덜) 해서 B와 같은 일이 더 (덜) 발생하도록 하자는 주장을 할 수 있는 인과적 패턴을 발견할 수 있어야 합니다.
대부분의 기업들이 데이터로 지표(Metrics)를 정의하고 모니터링하고 있지만, 내 사업에 "돈이 되는" 지식 생산 관점에서 지표를 잘 활용하고 있지 못합니다. 지표의 작은 움직임에 화들짝 놀라 질문을 던지고 신통치 않은 답변에 우리 사업은 데이터로 설명하기 힘든 미스테리한 블랙박스라고 생각하게 됩니다.
위글 위글 위글, 꿈틀대는 차트
데이터로 지식 생산하는 일에 실패하는 가장 큰 이유는 무엇일까요? 저는 '차트가 꿈틀댄다'는 것이라고 생각합니다.
어린아이가 벽에 그린 낙서처럼 꿈틀대는 차트를 보면 어떤 생각이, 감정이 드나요? 오르락 내리락 하는 지표에 일희일비하지 않고 집중해야 하는 주요한 변화(Signal)만 알고 싶지 않으신가요?
모든 사람이 대시보드 내의 차트를 읽고 해석하는 데 큰 피로감을 느끼고 있습니다. 올라간 지표들과 떨어진 지표들이 동시에 펼치는 차트들의 향연을 마주하면 내 눈동자도 내 마음도 방황하게 됩니다.
우리의 현실이 아래 차트처럼 하나의 확고한 메세지를 전달해 주면 좋겠지만, 현실의 데이터는 Signal과 Noise가 뒤섞인 채 쉬지 않고 위글 위글 꿈틀거립니다.
“The supply of information to which we are exposed thanks to modernity is transforming humans from the equable second fellow into the neurotic first one. […] the second fellow reacts to real information, the first largely to noise. The difference between the two fellows will show us the difference between noise and signal. Noise is what you are supposed to ignore, signal what you need to heed.” by Nassim Taleb
전통적 시도들 : 예측 모델 사용하기
운의 영향으로 발생한 데이터 신기루를 쫓는 일의 무모함을 해결하려는 가장 전통적이고 대표적 방법은 예측 모델을 사용하는 것입니다. Prophet 같은 예측 모델을 사용하여 시계열 상의 예측 범위를 일정 수준 이상 벗어나는 경우를 Anomaly나 Outlier로 간주하는 것입니다.
이상치 탐지, 응 아니야
이상치 탐지 알고리즘을 주목할 만한 경영 지표 변화와 그 원인을 찾는 데 활용하는 경우 (제 경험에 의하면) 두 가지 문제가 있습니다.
- 비즈니스 지표의 경우, 월 내지는 주 단위로 집계되는 지표 특성상 a. 충분하지 않은 데이터 포인트(월 집계 지표인 경우 과거 5년 데이터를 모아도 60건에 불과)와 b. 수집된 데이터로 알 수 없는 외부 이벤트 영향 때문에 안정적인 예측 모델을 만들기 힘듦.
- 안정적인 예측 모델을 만들 수 있는 경우라도, 매출 지표가 예측 범위에서 벗어났다(anomaly/outlier)는 사실을 알려줄 뿐, 지표 변화의 주된 요인(특정 상품 판매가 특정 지역에서 크게 감소 등)을 알려주지는 못함.
xMR 차트의 재조명
비즈니스 지표에서 Signal을 찾는 일에 최근 xMR 차트가 새롭게 주목받고 있습니다. xMR 차트는 전통적으로 품질 관리나 프로세스 모니터링에서 이상치나 비정상적인 패턴을 식별하는 데 사용되었던 도구입니다. 간단히 설명하면, 지표의 연이은 관측값들의 차이를 계산(차분: differencing)하여 변동성을 시각화(xMR 차트)한 후, 변화량(차분값)의 분포를 고려하여 상하한선을 설정한 후, 해당 범위를 벗어나는 경우 outlier라고 판단하는 방식입니다.
비지니스 지표에 xMR을 적용할 때 고려해야 하는 가장 큰 현실적 문제는 차분값들의 상하한선을 설정하는 일입니다. 특히, 빠르게 성장하고 있거나 변동폭이 큰 지표의 경우 xMR이 적절하지 않다고 생각합니다. xMR에 대해 보다 자세히 알고 싶으신 분들에게는 이 글을 추천합니다.
HEARTCOUNT Signal을 소개합니다.
하트카운트 시그널은 운(Noise)으로 꿈틀댄 지표 변화와 경영 환경의 변화에서 비롯된 지표변화(Signal)를 구분하기 위해 개발한 새로운 기능입니다. 지표를 알 수 있는 모든 하위 차원(지역별, 상품별 등)과 그 조합(대전 x 여성의류)으로 계산하여 전체 지표 수준에서의 변화뿐만 아니라 하위 수준(대전 지역의 여성 의류 판매 매출)에서 발생한 주목할 만한 지표 변화까지 알려드릴 수 있습니다.
아래 그림은 지표(자동차 보험금, Claim Amount)를 자동차 유형(Vehicle Type)으로 구분하여 시계열로 표현한 그림입니다. 실무 관점에서 우리가 관심을 가져야하는 변화는 첫번째 (4달 연속 증가한 경우)와 네번째 (3달 연속 증가하다 급락)일 것입니다.
빨간색으로 표시된 첫번째와 네번째 차트가 (파랑색으로 표시된 두번째와 세번째 차트에 비해) 우리가 보다 주목해야 하는 변화라는 것을 정하는데 무슨 거창한 통계학적 이론이 뒷받침될 필요는 없다고 생각합니다. 척 보면 누구나 알 수 있습니다.
지금까지 운에 의해 꿈틀댄 변화와 주목할만한 지표 변화를 구분하기 어려웠던 건, 실무자가 지표 변화와 관련하여 구체적인 질문(예, 3달 이상 연속 증가하다 이번 달에 50%이상 감소한 경우를 알려줘)을 할 수 있는 데이터 도구가 없었기 때문입니다.
아래는 하트카운트 Signal의 실제 화면입니다. 3달 이상 연속 증가하다 이번 달에 50%이상 지표가 감소한 경우를 쉽게 찾을 수 있습니다.
Signal is All You Need: 우연한 변화와 중요한 변화를 구분해 줍니다
실재(實在, reality)는 무한에 가까운 다양한 모습을 가지고 있지만 우리 감각의 한계 때문에 실재의 전모를 알 수 없습니다. 무한에 가까운 실재가 우리 앞에 동시에 펼쳐진다면, 우리의 인식은 확장되기보다는 압도되고 위축될 것입니다. 대시보드에 펼쳐진 수많은 차트 앞에서 우리는 자의적으로 선택하게 되고, 선택하여 인지된 사실만을 온전한 사실/실재라고 믿게 되는 것이지요.
HEARTCOUNT Signal은
- Noise(운, 우연)의 영향으로 무의미하게 꿈틀대는 지표와 현실 변화(Signal)의 영향으로 움직인 지표를 구분할 수 있습니다. 예측 모델이나 통계적 이론을 사용하지 않고 실무자의 언어와 시선으로 쉽게 구분할 수 있습니다. (3달 이상 연속 증가하다 이번 달에 50% 이상 감소한 경우를 찾아줘)
- 지표 변화에 영향을 끼친 무수히 많은 요인을 영향도(절대적 변화량, 변동률 등)에 따라 정렬하고 검색할 수 있습니다.
- 주목할 만한 지표 변화와 변화의 주요 요인들을 이메일 보고서 형식으로 정리하여 자동 발송해 드립니다.
인과적 추론 관련 글을 더 읽으려면 여기를 클릭하세요
