Data is Magic with HEARTCOUNT

2023年10月19日に行われたHEARTCOUNTの新機能紹介イベント第1部の発表内容をブログ形式でまとめました。

はじめに - HEARTCOUNTの軌跡

HEARTCOUNTが世の中に登場してから、もう8年が経とうとしています。ペットにたとえると50歳くらいで、そろそろ天命を知ってもよい年齢ですね。製品の進化の軌跡を3つの世代に分けて簡単に見てみると、以下のようになります。

第1世代の製品は、データからパターンを自動的に発見する「拡張アナリティクス（Augmented Analytics）」
第2世代は、BI（ダッシュボード）とアナリティクスを結合（B-to-the-A）し、一つのツール内でマクロ的な指標の変化確認とミクロレベルでのパターン発見を可能に
第3世代では、指標に関する無数の質問への答えをデータから自動的に見つける体験を提供するための、3つの新機能を追加

HEARTCOUNT 第1世代
- 拡張アナリティクス（Augmented Analytics）

まず第1世代の製品では、以下の動画のように、2つの主要機能を通じて、現場の担当者がデータを主体的に活用できるよう支援することを目指しました。

インタラクティブなデータの可視化：TableauやPowerBIのようなチャートでデータをまとめる代わりに、この方法では100万件以上のデータを一つ一つ動かせる形で見せることができます。これにより、データの細かい流れや構造をより詳しく視覚的に理解することができます。
仮説なしの幅広い分析：このシステムは、特定の仮説を立てずに、あり得るあらゆるシナリオを分析し、統計的に意味のある結果をわかりやすい言葉で示します。これにより、専門家は大切な情報を見落とすことなく、データの中のパターンをじっくり理解することができます。

HEARTCOUNT 第2世代
- B-to-the-A

しかし、実務者が直面するより切実なデータの課題は、「指標（KPIやメトリクス）に関する質問にその都度迅速に答えること」でした。第1世代のアナリティクス技術・機能に、従来のBI機能を組み合わせることで、1つのツール内で指標の確認から指標に関する質問への回答まで可能にしました。その名も「B-to-the-A（BI to the Analytics）」！

以下の動画のように、チャートを見て追加の疑問が浮かんだ場合でも、すぐに関連するデータセットでEDA（探索的データ分析、仮説検証）を行うことができます。

0:00

/0:23

データアナリティクスの次は？

これだけでも十分に良いものではありますが、私たちはさらに良くしたいと考えました。特に、以下のような悩みを技術の力で解決したかったのです。
そして、実務者の仕事のあり方が変わるようなデータ体験を提供したいと考えました。

複雑なSQL（データベース言語）を使わないと関連データにたどり着けない難しさ。
どうやって整理されたデータ分析を始めて、何を聞けばいいのかわからないこと。
上司に言われる前に、大切な指標の変化を自分で見つけたいという希望。

新技術第1弾　- Text-to-SQL

3つの新技術のうち、最初の一つは、自然言語（テキスト）をSQLに変換する「Text-to-SQL」です。

下のような状況で、自分の仕事を成し遂げるために他人のスキルや善意に頼らなければならないのだとしたら、それは主体的な人生とは言えません。

データ抽出の言語であるSQLと人間の言葉が通じ合うようになれば、実務者のデータアクセスに関する問題の多くが解決される可能性があります。
もちろん、技術を導入するだけですべての状況でうまくいくわけではありません。
あまり複雑でないDB構造と、簡単な事前準備（カラムに関する補足情報など）があれば、実用に耐えるレベルで機能します。

0:00

/0:43

新技術第2弾　- ダイアログ

データを取得するだけでは解決できない質問もあります。
「なぜ？」「どうやって？」から始まるような質問がその例です。
こうした質問には、分析的推論（Analytical Reasoning）の作業が必要となります。具体的には、まずサブクエスチョン（下位質問）を導き出し、それらの質問をチャートで可視化（Question-to-Chart）し、
さらにチャートから定量的な事実を読み取り（Chart-to-Narrative）、このプロセスを何度も繰り返すことになります。