AI 시대의 BI

정보 비대칭이 인류의 경쟁력

CEO는 아는데 AI는 모르는 게 100개인데 반해, 그 반대의 경우는 100억개라면 CEO의 도움을 받아 AI가 의사결정을 하는 것이 그 반대의 경우보다 더 합리적으로 보입니다.

하지만 '정보의 상대적 가치'를 고려하면 이야기가 달라집니다. 예를 들어 "우리 회사 이번 달 매출이 떨어졌는데, 어떻게 해야 하지?"라는 질문에 ChatGPT보다 우리 회사 제품, 고객, 경쟁 상황과 내부 자료(이메일, 슬랙, 보고서, 대시보드 등등)를 훤하게 꿰고 있는 CEO가 더 좋은 결정을 내릴 수 있겠지요.

CEO가 AI 보다 더 똑똑한 결정을 할 수 있는 이유가 인간 고유의 사유 능력 때문이 아니라 주어진 질문에 대한 맥락을 담고 있는 정보에 대한 접근성 차이 때문이라고 가정해 봅시다. 만약 AI가 우리 회사의 모든 정형 데이터(데이터베이스)와 비정형 데이터(텍스트)에 자유롭게 접근할 수 있다면 상황이 달라질까요?

크기에 제약이 없는 context window와 신비로운 RAG(질문과 관련된 맥락 추출) 프로세스를 장착한 두뇌를 가진 CEO의 직관을 뛰어넘는 최적의 결정을 AI가 대신할 수 있을까요?

AI가 어떤 일을 잘 해내지 못할 때 모든 정보에 대한 접근을 가진 진짜 AI는 다를거야라는 주장은 No True Scotsman이란 개념을 떠올리게 합니다. No True Scotsman은 “스코틀랜드 사람은 설탕을 넣은 죽은 절대 안 먹어.”라는 주장에 대해 누군가 “근데 내 친구는 스코틀랜드 사람인데 설탕 넣고 먹어.”라고 반박한 경우 “그건 니 친구가 진짜 스코틀랜드 사람이 아니기 때문이야.”라고 보다 엄격한 기준을 제시하며 반례를 부정하는 경우를 지칭합니다.

다음은 정보 비대칭이 사라진 세상에서, "진짜" AI가 사람을 뛰어넘는 의사결정을 할 수 있을지에 대한 이야기입니다.

데이터의 한계와 데이터 분석의 한계

기업 내 데이터 기반 의사결정 역시 기업 경영과 관련된 불확실성을 줄이고 운영을 최적화하려는 시도입니다. 다만, 완벽한 데이터와 정보에 접근하는 것이 불가능하니 사람의 판단력의 개입을 어느 정도 인정하고 있는 것이 현실이고, 이는 데이터 가치에 의문을 제기하게 되는 빌미가 되기도 합니다.

데이터 기반 의사결정의 한계를 데이터의 한계와 데이터 분석의 한계로 나누어 생각해 봅시다.

데이터의 한계: 그 이유의 이유

• 매출이 전달 대비 1.5억 감소
• A 제품의 판매가 1억(50%) 감소.
• B 유통채널이 A제품 전체 매출 감소의 90%를 차지.

위 사실은 기업 내 매출 데이터를 근거로 한 엄정한 사실입니다. 하지만 이유의 이유(왜 B 유통채널에서의 매출 하락이 컸나?)를 캐묻기 시작하면 (정형) 데이터의 한계가 곧 드러납니다.

그 이유가 제품(VoC: 품질 문제)이나 내부 요인(예산 상의 이유로 B채널에 대한 프로모션 축소)이라면 이유의 이유를 내부 (비정형) 데이터에서 (사람이든 AI든) 확인할 수 있을 것입니다.

하지만, 그 이유의 이유가 유통채널 내부 사정(담당 MD가 진열 위치 변경하거나 기획전에서 배제, 내부 알고리즘 변경으로 노출 감소 등)때문이라면 그 이유의 이유를 내부 데이터만으로 알기 어렵습니다.

한 걸음 더 나아가, 그 이유의 이유의 이유(MD가 변절한 이유)는 데이터에 끝끝내 담기 어려운 인간 내면의 영역에 속한다는 문제가 남습니다. (물론, AI가 의사결정의 주체가 된 세상에서는 인간 내면의 문제 따위가 중요할 것 같지는 않지만 말입니다.)

데이터 분석의 한계: 모든 가설 검증의 어려움

• 매출이 전달 대비 1.5억 감소

위 사실을 대시보드(BI)에서 확인한 담당자의 머리 속에 다양한 가설들이 떠오릅니다. 특정 지역이나 고객 집단의 매출 감소가 있지 않았나, 제품의 계절적 특성이 반영되었으려나, 특정 영업 조직이나 유통 채널의 성과가 부진했나 등등.

하지만, 아쉽게도 전통적인 BI 도구는 다양한 가설을 검증하기 위한 목적으로 탄생한 것이 아니라 성과(지표)를 주요 관점으로 모니터링하기 위해 만들어진 도구입니다. 가설을 검증하기 위해서는 가설(질문)과 관련된 별도의 데이터셋을 가지고 데이터 분석 도구(EDA 도구, Python, AI 도구 등)를 사용하여 수동으로 분석하는 작업이 추가로 필요합니다.

결국, 데이터 분석(도구)의 한계로 모든 가설을 검증하지 못 하고 익숙한 관점으로 결론을 내리게 됩니다.

Combinatorial Explosion: 주어진 지표를 쪼개어(slice and dice)볼 변수(차원, 컬럼)와 그 값들의 조합이 증가함에 따라 검증할 가설의 수가 기하급수적으로 증가하는 현상. 20개 상품을 10개 지역으로 조합해 살펴만 봐도 200개...

사람의 한계가 AI의 한계

사람이 만든 데이터, 분석 방법과 도구를 활용해야만 하는 AI 처지를 생각하면, 데이터 분석의 경우 사람의 한계가 그대로 AI의 한계일 수 있겠다는 생각입니다.

그 한계에도 불구하고 특정 사람이 어렵게 해낼 수 있던 일이 AI의 도움으로 모두에게 쉬워질 수 있다면 그건 축복이겠습니다.

매출이 떨어졌어, 어떡하지? (성과 모니터링, 성과 개선)

기업이 데이터를 기업 운영과 관련된 의사결정에 활용한다 했을 때 그 대표적 도구는 BI(대시보드)이고 BI는 성과 모니터링에는 유용하지만 성과 개선을 위한 아이디어 발굴에는 적합하지 않다고 이야기했습니다.

AI 데이터 분석 도구가 기존 데이터 도구의 한계를 극복하려면 어떤 접근 방법이 필요할까요? 저는 가설 생성과 검증 작업이 자동화되는 것이 그 첫걸음이라고 생각합니다.

지표 차이(Variation) 이해하기: 지표 차이(매출 변화)를 이해하는 것은 기업 운영이 어느 정도 평형상태(Equilibrium)에 이른 일정 규모 이상의 대부분의 기업들(국내에 업력이 10년 이상이고 연매출이 1,000억인 기업이 대략 3~4,000개 정도라고 함)이 데이터로 해야하는 가장 중요한 작업 중 하나입니다. 주요 경영 지표가 운에 의해 꿈틀대었는지 아니면 주목할만한 경영 환경의 변화에서 비롯되었는지를 아는 것이 중요합니다.

기존 AI 데이터 분석으로 성과 개선 아이디어 찾기

아래는 manus를 통해 이번 분기 매출 변화 요인을 모든 경우의 수로 분석한 과정과 그 결과를 정리한 내용입니다. 언어모델 기반의 분석에는 몇 가지 근본적인 문제가 있습니다.

• 분석 의도와 조건을 텍스트로 주고 받다 보니 오해가 싹트기 쉬움 → 집계 방식, 변수 누락 등
• 서로 오해가 있었는지 계획된 작업이 모두 끝난 후에야 확인 → 원하는 결과 나올 때까지 시행착오 반복
• 분석 결과에 대한 상호작용 제한적 → 원하는 결과만 필터링을 해서 보기 어려움

HEARTCOUNT AI 데이터 분석 - Dialogue

어떤 일을 하는 최선의 방법이, A에서 B로 가는 최선의 경로가 이미 정해져 있다면, 그 방법과 경로를 선택하는게 합리적입니다. 동일한 분석 절차와 방법 수행을 위한 code를 매번 다시 생성하는 건 자원 낭비입니다.

Dialogue - 나는 말하지 않는다. 나는 묻는다.

Dialogue는 의사결정 맥락에서 정형 데이터를 사용하여 가설 검증, 시각화(EDA), 설명 모형 생성하는 법을 빠삭하게 알고 있는 AI Agent가 문답 형식으로 주어진 질문에 답하기 위한 최선의 분석 방법을, A에서 B로 가는 최적의 경로를 알려주는 AI 데이터 분석 도구입니다.

AI 분석, HEARTCOUNT Dialogue

아래 그림처럼,

• 사용자의 분석 목적과 의도가 파악되면, 해당 분석 의도에 맞는 최적의 분석 방법이 매핑됩니다.
• 그 다음에, 분석의 세부 조건을 확인한 후,
• 상호작용이 가능한 방식으로 분석 결과를 제공하게 됩니다.

Analytical AI Agent, HEARTCOUNT Dialogue

AI 에이전트 관점에서 구성요소를 살펴보면 아래와 같습니다.

• Memory: 분석에 사용하는 데이터셋, DB와 사용자의 분석 히스토리
• Tool: 통계 모형, 시각화 도구, SQL 도구 사용
• Planning: 분석 목적에 맞는 최적의 세부 과업 정의
• LLM: 자연어 질문의 분석 의도 이해, 분석 결과 자연어 설명

HEARTCOUNT Dialogue vs LLM 기반 데이터 분석 도구

다른 LLM 기반 정형 데이터 분석 도구의 차이점은 아래 표와 같습니다.

• 분석할 수 있는 데이터셋 크기에 제한이 없고
• 집계성 질문뿐만 아니라 매출 하락 원인 분석, VIP 고객 특성 도출 등 복잡한 질문도 답변 가능
• 모든 분석은 브라우저 내에서 실행되어 데이터셋 외부 유출 걱정 없음

• 분석 목적별 템플릿 제공 (25.6월)

HEARTCOUNT AI Analytics in Action

이번에는 조직 문화 서베이 데이터를 Dialogue로 분석한 결과, 그리고 해당 데이터에서 발견한 사실을 ChatGPT가 해석한 결과를 함께 살펴보겠습니다.

• 먼저 집단 간 지표 차이 분석 템플릿 선택 후, 관심있는 지표 선택합니다.

• 분석 세부 조건도 설정하고요.

• 모든 경우의 수에 대해 나온 분석 결과를 직책 변수로 필터링해 보았습니다.

• 위 카드에 적힌 사실을 Prompt로 만들어서 ChatGPT에게 해석해 달라고 부탁했습니다. 사회 통념 수준에서 잘 해석했네요. 만약, AI가 내부 문서에 접근이 가능했다면 좀 더 맥락있는 글을 썼을 줄 압니다. (Dialogue에 조만간 LLM을 통한 사실 요약, 사회 통념 수준에서의 해석 기능이 탑재될 예정입니다.)

ChatGPT - 결혼 여부와 일몰입

Shared via ChatGPT

ChatGPT

• 끝으로 Google NotebookLM에 공개된 국내 기업(버즈빌)의 컬처덱을 업로드한 후 동일한 프롬프트를 사용해서 인사이트를 생성한 결과입니다. 물론, 기업의 방대한 문서가 아니라 하나의 문서를 참고했고, 정확한 사실 관계를 다툴 필요가 없는 내용을 인용하기는 했지만, "사회 통념" 수준의 인사이트보다 더 공감할 수 있는 맥락있는 답변을 생성했네요.

HEARTCOUNT Dialogue for Operational Excellence

30년 전, 기업은 숫자보다 ‘사람의 눈’과 ‘현장의 감’을 더 신뢰했습니다. 한 장짜리 손익계산서를 들여다보며 전략을 세우고, 고객의 육성과 발검을으로 수요를 가늠했습니다. 숫자는 의사결정의 보조 도구였을 뿐, 판단의 중심에는 직관과 경험이 있었지요. 세상은 단순했고, 단순함 속에 확신이 있었습니다.

15년 전쯤부터, 해외의 몇몇 기업들이 더 많은 데이터와 더 정교한 분석을 무기로 큰 부를 쌓기 시작했습니다. “우리는 데이터 기반으로 일합니다.”라는 말은 기업의 새로운 윤리가 되었습니다. A/B 테스트는 핵심 전략이 되었고, 예측과 자동화는 혁신의 상징이 되었습니다.

2025년, 데이터를 잘 활용한 덕에 높이 날아오른 몇몇 기업을 제외하면, 많은 기업에게 데이터는 여전히 '순비용'입니다. “우리는 데이터 중심 조직입니다”라는 말은 내용 없는 상징처럼 소비되고 있습니다.

Data ROI

기업 운영이 일정 수준의 평형 상태(Equilibrium)에 다다른 일정 규모 이상의 기업들이 AI 시대에 해야할 일은, 최소한의 비용으로 데이터가 답할 수 있는 최선의 답변을 구하는 것이라고 생각합니다.

HEARTCOUNT, 실무자들한테 요긴한 단 하나의 데이터 도구

기존 데이터 활용 도구들은 실무자들이 질문 관련 데이터에 빠르게 접근하여 주체적으로 답변하는 문제를 해결하지 못하고 있습니다.

HEARTCOUNT는 정형 데이터를 기반으로 지표 관련 질문에 자동으로 답변하는 데이터 도구입니다.

지표 모니터링에서 지표 개선을 위한 가설 검증, 사실과 증거 그리고 이를 둘러싼 맥락에 기반한 실행가능한 아이디어 제시까지 가장 빠르고 효율적으로 해내는 AI 데이터 분석 도구가 되겠습니다.