AI, 오만과 편견

소설 '오만과 편견'에는 상류계급의 오만한 다아시(Darcy)와 그에 대해 편견을 품게 되는 엘리자베스(Elizabeth)가 등장합니다.

AI 모델은 학습 데이터에 깃든 편향을 고스란히 품고 있는, 데이터에 끝끝내 잡히지 않는 맥락을 스스로 반영할 수 없는 편견(bias) 덩어리라는 주장은 꾸준히 제기되어 왔습니다. 반면, 데이터에 담길 수 없는 미묘한 맥락을 직관으로 예리하게 포착하는 인간의 능력은 '넘사벽'이라 여겨져 왔죠.

장강명의 소설 '먼저 온 미래'를 읽으면서 AI가 넘볼 수 없는 인간 고유의 지적 영역이 있다는 우리의 믿음이 오만은 아닐까 하는 의문이 들었습니다.

(일단 바둑에) 먼저 온 미래

"나는 바둑계에 미래가 먼저 왔다고 생각한다. 2016년부터 몇 년간 바둑계에서 벌어진 일들이 앞으로 여러 업계에서 벌어질 것이다. 사람들이 거기에 어떤 가치가 있다고 믿으며 수십 년의 시간을 들여 헌신한 일을 더 잘 해내는 인공지능이 어느 순간 갑자기 등장하는 것." - '먼저 온 미래' 중에서

장강명 작가는 전·현직 프로기사와 바둑 전문가들을 직접 인터뷰하며, 인공지능이 한 분야를 완전히 압도했을 때 그 세계에 어떤 변화가 일어나는지를 생생하게 전해줍니다.

"이겨야 한다. 그게 가장 중요한 문제였고 가장 큰 욕망이었다. 멋진 바둑을 둔다든가, 아름다운 바둑을 둔다든가, '인간의 바둑'을 두는 것은 이기고 난 뒤에 고민할 일이었다. 여러 프로기사가 '인간의 바둑' 혹은 바둑의 예술성을 묻는 내게 '그런 고민을 할 겨를이 없었다, 먼저 살아남아야 했다' - '먼저 온 미래' 중에서

이세돌 9단이 바둑계를 떠나며 “나는 바둑을 예술이라 배웠는데, 인공지능이 나온 이후 이걸 예술이라 말할 수 있을지 의문이 든다.”라고 말한 것처럼, 일로서 데이터 분석을 하는 사람들도 언젠가 비슷한 말을 하게 되지는 않을까요?

이전 글(AI 시대의 BI)에서, 저는 BI(Business Intelligence)와 Data Analytics 업무에서는 복잡한 세상의 질서를 온전히 담아내지 못하는 데이터의 한계 때문에, 사내 데이터와 분석 도구에 자유롭게 접근할 수 있는 AI라 하더라도 사람을 뛰어넘는 데이터 분석을 하기는 어렵다고 주장했습니다.

이번 글에서, 데이터에서 성과 개선 인사이트를 발굴해 분석 보고서에 담는 작업에서 인간이 AI보다 더 잘할 수 있는 영역이 앞으로도 계속 남아있게 될 것인지 다시 한 번 생각해 보았습니다.

Art in 데이터 분석 보고서 작성 작업

정량 데이터를 사용하여 주어진 질문에 대한 최적의 해(解)를 자동으로 찾는 일은 자동화된 알고리즘이나 Best Practice가 담긴 템플릿 기반 분석으로도 충분히 가능한 시대가 되었습니다.

AI 분석 템플릿, 이렇게 사용하세요.

AI 데이터 분석이 더 쉬워졌습니다. 나의 분석 의도에 맞는 템플릿을 고르고, 더 다양한 시각화로 인사이트를 확인하세요. 새롭게 바뀐 다이얼로그 사용법을 지금 바로 만나보세요.

HEARTCOUNT COMMUNITYSun Jung

문제는 이렇게 기계적으로 도출된 ‘최적의 해(解)’가 사업 관점에서도 최선의 선택인지 여부는 여전히 사람의 해석과 판단에 달려 있다는 사실입니다. 데이터 분석에 예술적 요소(통찰과 직관)가 있다거나, Fact만큼이나 Storytelling이 중요하다는 주장이 나오는 이유입니다.

데이터 기반 의사결정(BI & Analytics)에서 논리적인 언어로 딱부러지게 설명하거나 객관적으로 검증하기 어려운 예술적 측면(통찰력, 직관)의 역할이 바둑의 경우처럼 허상에 불과하고, 결국 AI가 더 잘 풀어낼 수 있는 문제가 될까요?

이 질문에 답하기 위해, 제이슨 웨이(Jason Wei)가 제시한 '검증의 비대칭성(Asymmetry of Verification)'과 '검증자의 법칙(Verifier's Law)' 을 함께 살펴보겠습니다.

AI 발전의 핵심 원리, '검증의 비대칭성'과 '검증자의 법칙'

Asymmetry of verification and verifier’s law — Jason Wei

Asymmetry of verification is the idea that some tasks are much easier to verify than to solve. With reinforcement learning (RL) that finally works in a general sense, asymmetry of verification is becoming one of the most important ideas in AI.  Understanding asymmetry of verification th

Jason WeiJason Wei

제이슨 웨이가 제시한 '검증의 비대칭성(Asymmetry of Verification)'의 핵심은 '어떤 문제는 풀기는 어렵지만, 답이 맞았는지 검증하기는 쉽다.'입니다.

예를 들면, 스도쿠나 직소 퍼즐은 푸는 데는 시간이 오래 걸리지만, 완성된 답이 맞는지는 금방 알 수 있습니다.

반대로, 문제를 푸는 것보다 정답을 검증하는 일이 더 어려운 경우도 있습니다. 어떤 글에 담긴 모든 내용을 팩트 체크하는 데 걸리는 시간은 글을 쓰는 데 걸리는 시간보다 훨씬 더 길 수 있습니다.

일을 해내는 것보다 그 일을 잘 했는지 검증하는 게 더 어려운 사례를 더 들자면:

• Brandolini’s law: 헛소리를 반박하는 데 필요한 에너지는 그 헛소리를 하는데 드는 에너지보다 최소 10배 더 큼
• 특정 식단(식습관)이 건강에 도움이 된다는 주장을 실제로 입증하려면 수년간의 장기 연구가 필요

검증자의 법칙(Verifier's Law)

웨이는 이어서 'AI 모델의 문제 해결 능력은 주어진 문제의 검증 가능성에 비례한다.'고 말합니다. 즉, 검증이 가능한 모든 작업은 결국 AI가 사람보다 더 잘 해내게 될거라는 것이죠.

AI가 잘 학습(해결)할 수 있는 작업의 조건으로 아래를 제시하고 있습니다.

• 객관적 진실이 존재 (정답에 모두가 동의)
• 빠른 검증 가능 (몇 초 이내 정답 확인)
• 대규모 검증 가능 (여러 답을 동시 검증 가능)
• 낮은 노이즈 (명확하고 일관된 채점 기준 존재)
• 차등(Continuos) 보상 (답의 품질을 순위나 점수로 매길 수 있음)

객관적으로 검증 가능한 모든 일들이 AI에 의해 최적화, 자동화될 수 있다면, BI & Analytics 업무의 최종 결과물인 '분석 보고서 작성'도 결국 AI가 접수하게 될까요?

검증자의 법칙을 기준으로 함께 판단해 보시죠.

데이터 분석 보고서의 진위 여부, 객관적으로 검증 가능한가?

데이터 분석 보고서를 검증자의 법칙 관점에서 바라보면, 검증이 가능한 질문들과 그렇지 않은(Non-Verifiable) 질문이 구분됩니다.

검증 용이

아래 질문들은 정량적 데이터로 명확히 검증(Fact-Checking)할 수 있습니다.

• 경영 지표 모니터링: 매출이 얼마나 증가했나?
• A/B 테스트 성과 비교: 어떤 캠페인의 효과(클릭수)가 더 컸나?

검증 어려움

아래 질문들은 올바른 하나의 정답이 존재하기 어렵고, 제시된 정답을 따랐을 때의 효과를 검증하려면 시간도 오래 걸립니다.

• 사업 전략 수립: 어떤 제품, 어떤 고객 집단에 집중해야 하나?
• 경영 지표 개선: 매출 하락에 영향을 준 원인과 개선책은 무엇인가?

경영 지표 개선에 대한 질문에 대한 답변이 다음과 같이 제시되었다고 합시다.

주요 원인은 경쟁사의 대규모 할인 행사와 경기 침체로 인한 소비 위축입니다.매출 개선을 위해서는 차별화된 제품 라인업을 강화하고, 온라인 채널 프로모션을 확대하는 것이 필요합니다.”

위 답변에서 '경쟁사 할인 행사 시점과 매출 하락 시점의 일치'는 Verifiable이지만, '경쟁사 할인이 매출 하락의 직접적 원인이었는지 여부와 제시된 개선책'은 가능한 다양한 해석 중 개연성이 높은 하나에 불과하고, 실행하기 어렵고, 실행의 실제 효과도 검증하기 어려운 Non-Verifiable에 해당합니다.

검증이 어려운 문제를 검증 가능한 형태로

일견, 기업 내 주요한 질문들(왜? 어떻게?)은 AI가 쉽게 검증하기 어려운 Non-Verifiable 문제로 보입니다.

하지만, '보고서에 담긴 내용에 따라 의사결정을 했을 때 현실에서의 발생한 효과'를 검증하는 대신, 보고서의 주장을 보고서 작성의 근거가 된 데이터와 모델에 담긴 세상(도메인)에 대한 지식 수준에서만 검증한다면 상황이 달라집니다.

왜? 어떻게? 질문도 객관적 진실(정답)이 존재하고 정답에 대한 채점 기준도 존재하는 Verifiable 문제가 될 수 있습니다.

Why질문을 What질문으로 바꾸기

왜?라는 하나의 올바른 정답이 없는 질문을 '무엇이 얼마나?'라는 정답이 있는 질문으로 바꾸면 Non-Verifiable 문제도 Verifiable 문제로 전환할 수 있습니다.

(HEARTCOUNT에서 복잡한 질문을 처리하는 방식이기도 합니다.)

• 왜 매출이 줄었나?와 같은 Why 질문을 어떤 제품군의 매출이 어느 지역에서 감소세를 보이고 있나? 가장 크게 줄었나? 와 같은 What질문으로 치환하면 일단 모두가 동의할 수 있는 정답이 있는 질문으로 만들 수 있습니다.
• 고객 충성도가 왜 낮아졌나?라는 질문도 지난 1년 동안 재구매율이 많이 감소한(80th Percentile) 고객군의 통계적 특성이 무엇인가?로 바꾸어 물으면 전통적 분석 방법으로 답이 가능한 질문이 됩니다.

하지만, 정량적으로 검증 가능한 정답이 반드시 우리가 원하는 정답과 일치하는 것은 아닙니다. 예를 들어, “가을에 잘 팔리던 바람막이가 겨울에 팔리지 않았다”는 것은 엄연한 사실이지만, TBU(True, But Useless), 쓸모없는 답에 불과할 수 있습니다.

Business Impact와 Complexity로 채점 기준 세우기

'검증자의 법칙'에 따르면, 질문에 대한 답변의 품질을 측정할 수 있는 명확하고 일관된 채점 기준이 존재해야 AI가 복잡한 질문에 데이터로 답변하는 일을 자동화할 수 있습니다.

좋은 데이터 분석 보고서라 함은 탄탄한 사실에 근거한 구체적인 실행 전략이 담겨야 합니다. 실행 전략은 실행이 용이(Low Complexity)해야 하고 실행의 기대 효과(High Business Impact)가 커야 합니다.

바람막이의 예로 돌아가 보면, 우리 회사 바람막이 제품은 봄철 매출이 없없다. 경쟁업체들의 매출 추이를 살펴 보니 전체 바람막이 매출의 30%가 봄철에 나오더라. 그러니 우리도 봄철에도 바람막이를 팔아야 한다.와 같은 내용의 보고서는 실행하기 쉽고, 그 실행에 따른 성과도 클 가능성이 높습니다.

정량적 분석 결과에 대해 Complexity와 Business Impact를 고려한 채점 기준을 마련할 수 있다면 '가을철 잘 팔리던 바람막이 매출이 겨울에 뚝 떨어졌으니 겨울에도 열심히 팔아 보자'가 아니라 '잠재 수요가 있는 봄철에도 바람막이를 팔아라'라는 인사이트를 제공할 수 있을 것입니다. (요 내용에 대한 실증 연구 결과는 향후 웨비나에서 다룰 예정입니다.)

씁슬한 교훈 (The Bitter Lesson)

'쓰레기통 모형(Garbage Can Model)'이라는 고전 조직이론이 있습니다. 이 이론은 조직 내 의사결정이 문제와 제시된 해결책, 그리고 다양한 이해관계를 가진 의사결정자들이 뒤죽박죽 섞여 있는 쓰레기통과 같은 상태에서 우발적으로 내려진다고 설명합니다.

조직에 시스템과 프로세스가 존재하지만, 그것은 정교한 실험과 검증의 결과가 아니라 사람들 간의 적당한 타협과 관행의 축적으로 형성된, 암묵적이고 임의적인 허술한 체계일 가능성이 크다고 생각합니다.

The CEO revealed that not only was the operation of his organization out of his control but that his grasp on it was imaginary (source link)

그래서 기업 내 주요 프로세스에 AI를 적용하기가 어려운 이유로, 자동화를 위해 꼭 필요한 잘 정의된 규칙과 프로세스가 존재하지 않기 때문이라고 말하기도 합니다.

올해 튜링상을 수상한 리처드 서튼(Richard Sutton) 교수는 ‘Bitter Lesson’이라는 글에서는 복잡한 문제 해결에 인간의 지식을 정성들여 주입하는 것보다, 막대한 연산을 할 수 있는 기계로 검색(search)과 학습(learning) 과정을 통해 복잡한 외부 세계의 구조를 스스로 터득하도록 하는 것이 더 효과적이라고 이야기합니다.

알파고 제로가 인간의 바둑 기보를 참조하지 않고, 40일 동안 자기 자신과 약 2900만 판의 바둑을 둔 후, 기존 알파고를 압도할 수 있었던 것처럼 말이죠.

요즘 기업들의 관심은 AI Agent에 쏠려 있습니다. Manus는 개발자들이 공들여 작성한 정교한 System Prompt와 절차에 따라 주어진 복잡한 문제에 대한 to-do list를 생성한 후 작동한다고 알려져 있습니다. Bitter Lesson에서 경고한 바로 그 방식으로 말이죠.

반면 ChatGPT Agent는 System Prompt로 문제 풀이 과정에 대한 지식을 주입하는 대신 최종 산출물의 품질을 기준으로 강화학습(RL)하도록 설계되었고, 직접 확인하지는 못했지만, 일부 작업에서 Manus보다 더 좋은 품질의 산출물은 낸다고 알려져 있습니다.

조직 곳곳에 얽혀 있는 수많은 비공식 워크플로우와 문서화되지 않은 관행들이 그다지 중요하지 않을 수 있다는 뜻이죠. AI한테 필요한 것은 그저 충분한 예시와 좋은 결과물을 알아볼 수 있는 안목이라는 이야기입니다. 씁슬한 교훈(Bitter Lesson)이 왠지 달콤하게 느껴지기도 합니다.

불확실성(Uncertainty)과 불확정성(Indeterminacy)

데이터 분석 보고서의 품질을 검증할 수 있는 객관적 기준이 존재할 수 있는가라는 질문에 대한 답변은 좋은 데이터 분석 보고서에 대한 우리의 기준에 달려 있습니다.

1. 측정, 수집할 수 있는 모든 데이터를 활용하여 확률적 판단을 한다면 사업의 불확실성을 줄여 운과 감에 의한 결정보다 장기적 관점에서 사업 성과를 더 크고 지속적으로 낼 수 있다. 데이터에서 발견한 사실에 구체적 맥락을 더해 좋은 결정을 할 수 있는 선택을 제시하는 것이 좋은 보고서
2. 사업 상의 중요한 의사결정이란 과거의 기록에서 배울 것이 그다지 없는(희소한 데이터, 느린 결과 피드백) 매번 새로운, 본질적으로 예측이 불가능한 불확정적인 사안이다. 그 품질을 사전에 검증할 수 있는 분석 보고서란 존재할 수 없다.

1.은 보고서의 내용을, 2. 보고서 내용을 따랐을 때의 실제 결과를 그 품질의 기준으로 삼고 있다고도 생각할 수 있습니다.

씁슬하지만, 2.를 기준으로 삼는 한 좋은 데이터 분석 보고서는 존재할 수 없습니다.

Facts Are Sacred

'Facts Are Sacred'는 영국 가디언(The Guardian) 데이터 저널리즘 팀의 경험과 철학을 담은 책입니다. 가디언의 창립 정신인 '사실은 신성하다(Facts Are Sacred)'라는 원칙에서 제목을 따왔다고 합니다. 저널리즘의 본질은 사실을 존중하고 의견과 철저히 분리하여 투명하게 전달하는 것이라고 이야기합니다.

모든 것이 모든 것에 영향을 주어 내 선택의 결과에 대한 객관적 검증이 애당초 불가능한 불확정적인 세계라면, 그래서 의사결정의 결과가 아니라 그 과정만이 검증과 개선의 대상이 될 수 있다면, 결국 기업에게 가장 귀한(Sacred) 건 검증할 수 있는 데이터에서 발견한 사실(Factual Finding)이라는 생각이 듭니다.

발생한 사실들 중 돈벌 궁리에 도움이 되는 것들을 잘 제시하는 일이 AI 데이터 분석 도구의 역할이라고 생각합니다.

오만한 인간과 편향된 AI가 행복하게 오래오래 함께 잘 살게 되길 바랍니다.

저는 초반에 돌이 없는 경우에 어디에 둬야 할지 전혀 모르겠거든요. 감각도 별로 안 좋거든요. 그런데, 인공지능으로 공부를 하면 초반 공부가 되게 쉬워요. 그래서 제가 되게 약점이던 부분이 많이 보왔됐어요. 그래서 성적이 많이 올랐어요. - '먼저 온 미래'에서 최정 9단의 인터뷰 내용 인용

부록 : 분석적 사고 (Analytical Thinking)

분석적 사고란, 복잡한 문제를 하위 요소로 분해하여 각 요소 간의 관계와 패턴을 이해하고, 데이터 및 사실에 기반해 합리적이고 과학적 결정을 내리는 사고 방식입니다. 분석적 사고 역량을 통해 우리는 직관이 아닌 구체적 근거에 기반한 의사결정을 할 수 있게 됩니다.

세계경제포럼에서 발간한 'The Future of Jobs Report 2025'에서도 분석적 사고를 중요한 미래 역량으로 꼽고 있습니다. (아래는 보고서에서 발췌한 그림과 원본 pdf)

저는 분석적 사고가 필요한 이유를, 사람이 데이터를 활용한 분석을 AI보다 더 잘 할 수 있기 때문이라고 생각하지 않습니다. 오히려, AI가 제시하는 정답과 그 근거가 현실에서 실제로 어떤 효과를 낼지 검증하기 어려운 경우가 많기 때문에, 제시된 내용을 정확히 이해하고 해석하여 더 나은 최종 의사결정을 내리기 위해 필요한 스킬이자 덕목이라 생각합니다.

함께 읽으면 좋은 글

AI 시대의 BI

BI와 기존의 AI데이터 분석도구의 한계와, 그 한계를 넘는 HEARTCOUNT AI Analyst를 소개합니다. 웨비나를 등록하고 우리 조직의 데이터를 가장 효율적으로 활용하는 방법을 직접 들어보세요.

HEARTCOUNT COMMUNITYSidney Yang

LLM 시대, 데이터 분석에서 통계학은 여전히 유용할까?

LLM이 데이터 분석을 주도하는 지금, 통계학은 구시대 유물일까요? 인간만이 할 수 있는 ‘통계적 사고’로 AI의 한계를 넘어, 더 나은 의사결정을 만들어보세요.

HEARTCOUNT COMMUNITYDavid Gu