Data is Magic with HEARTCOUNT

2023년 10월 19일에 있었던 HEARTCOUNT 신기능 소개 행사 1부 발표 내용을 블로그 형식으로 옮겨 놓았습니다. 발표자료는 바로 아래에서 다운받으실 수 있습니다.

들어가는 말 - HEARTCOUNT의 궤적

HEARTCOUNT가 세상에 나온지도 벌써 8년이 되어갑니다. 반려동물로 치면 50살쯤 되니 이제 하늘의 뜻(천명)을 알아도 좋을 나이네요. 제품이 진화해 온 궤적을 3기로 나누어서 간단히 살펴보면 이렇습니다.

• 1세대 제품은 데이터에서 패턴을 자동으로 발견하는 Augmented Analytics
• 2세대는 BI(대시보드)와 Analytics을 결합(B-to-the-A)하여 하나의 도구 안에서 거시적 지표의 변화 확인과 미시적 수준에서의 패턴 발견을 가능하게 함
• 3세대는 지표 관련 무수한 질문들에 대한 답변을 데이터에서 자동으로 찾는 경험을 선사하기 위한 세가지 신기능 추가

HEARTCOUNT 1st Generation - Augmented Analytics

우선 1세대 제품에서는 아래 영상처럼 두가지 핵심 기능을 통해 현업분들이 데이터를 주체적으로 활용하는 일을 돕고자 했습니다.

• 태OO나 파워OO처럼 데이터를 집계화하여 차트로 시각화하는 것이 아니라 백만건 이상의 개별 레코드를 상호작용이 가능한 방식으로 시각화하여 데이터에 담긴 미시적 질서와 구조를 시각적으로 파악
• 가설없이 모든 경우의 수로 분석한 후 통계적으로 유의미한 결과들을 자연어로 제공하여 실무자가 데이터에 담긴 패턴을 미진함없이 확인하도록 함

HEARTCOUNT 2nd Generation - B-to-the-A

하지만, 실무자가 당면한 더 첨예한 데이터 문제는 지표(KPI, Metrics) 관련 질문에 그때 그때 신속하게 대답하는 것이었습니다. 1세대 Analytics 기술/기능에 전통적 BI 기능을 결합하여 하나의 도구 안에서 지표 확인, 지표 관련 질문에 대한 답변까지 가능하게 하였습니다. 이름하여 B-to-the-A(BI to the Analytics)!

아래 영상처럼 차트를 보다 추가질문이 생기면 지체없이 바로 관련된 데이터셋으로 EDA(탐험 분석, 가설 검증) 작업이 가능하답니다.

What's Next for Data Analytics?

이걸로 충분히 좋긴 한데, 더 잘하고 싶었습니다. 특히, 아래 고민들을 기술로 해결하고 싶었습니다. 그래서, 실무자의 삶이 바뀌는 데이터 경험을 제공하고 싶었습니다.

• 어떤 질문은 SQL을 통해서만 확인 가능한데(미리 편성된 관련 데이터셋이 없어서), SQL은 너무 어렵고
• 질문과 관련된 잘 편성된 데이터가 있어도 어디서부터 시작할지, 뭘 물어봐야 좋을지 모르겠고
• 상사가 먼저 질문하기 전에, 주요 지표 변화를 먼저 알 수 있다면 좋겠는데...

신기술 1호 - Text-to-SQL

• 세가지 신기술 중 그 첫번째는 자연어(Text)를 SQL로 변환해 주는 Text-to-SQL입니다.
• 아래 상황처럼 내 일을 해내기 위해 다른 사람의 능력과 선의에 의지해야 한다면 주체적인 삶이 아닙니다.

• 아래 영상처럼 데이터 추출의 언어인 SQL과 사람의 언어가 서로 통할 수 있다면, 실무자의 데이터 접근 문제가 상당 부분 해결될 수 있습니다.
• 물론, 기술만 도입한다고 모든 상황에서 잘 작동하는 건 아닙니다. 너무 복잡하지 않은 DB 구조에서 간단한 사전 작업(칼럼 추가 정보 등)이면 쓸만한 수준으로 작동합니다.

신기술 2호 - Dialogue

• 어떤 질문은 데이터 확보만으로 해결되지 않습니다. 왜/어떻게로 시작하는 질문들이 그렇습니다.
• 이런 질문들은 분석적 추론(Analytical Reasoning) 작업을 통해 하위 질문들(Sub-Questions)들을 도출하고, 해당질문들을 차트로 표현(Question-to-Chart)한 후 차트에서 정량적 사실들을 도출(Chart-to-Narrative)하는 과정을 반복적으로 거치게 됩니다.

한치의 오차도 허용하지 않는 이 작업들에 있어서 HEARTCOUNT는 LLM(언어 모델)의 확률적 모델(맞을 수도 있지만 틀릴 때도 있는)을 채택하는 대신 자체 모형을 통해 해결하였습니다. 이름하여, Dialogue!

소크라테스의 대화법처럼 실무자가 좋은 의견을 형성하고 새로운 관점을 형성할 수 있도록 질문할 줄 몰랐던 것을 대신 물어 주고 정확하고 다양한 사실과 관점을 제공하는 것을 제품 개발의 목표로 삼았습니다.

요렇게 말이죠.

신기술 3호 - Signal

신기술 세번째 Signal입니다. 지표 변화와 그 주요 요인을 자동으로 알려주는 기능들의 묶음이고 두가지 하위 기능으로 나뉩니다.

• Signal은 HEARTCOUNT 대시보드에 등록된 모든 KPI/지표에 대해 누가 따로 묻지 않아도 계절적 패턴이나 trends를 고려했을 때 통상적인 수준을 벗어나는 변화에 대해 자동으로 알려주는 사용 안 한 사람은 있어도 한 번만 사용한 사람은 없다는 요긴한 기능입니다.

• Signal, Data Newsletter: 몇몇 지표들은 너무 중요해서 정기적으로 지표와 관련된 주요 변화 요인을 뉴스레터 형식으로 받아보면 좋을 것입니다. 이게 바로 그것!

기타 제품에 대해 궁금하신 내용은 support@idk2.co.kr로 문의 주세요.