フレームワークで指標(Metric)を理解して活用する

グロースハックにおける「プロダクトデータ分析」にフォーカスをしたセミナーの内容の抜粋記事なっています。グロースハックによる経験や知識に基づいた内容です。目次については以下の通りです。

指標にはスペクトルがある
指標設定はScienceでもありますが、Artでもある
あらゆる種類のプロダクトに適用できる指標のフレームワーク
Metric Hierarchy(指標の階層構造)、インプット指標とアウトプット指標

はじめに

様々なスタートアップ勤務経験のあるグロースハックの専門家が、効果的な指標設定のために知っておくべき概念から、実際のスタートアップで苦労する部分と解決方法を現実的に解説します。獲得、活性化、エンゲージメント、リテンション、収益化まで。自分の製品/サービスにすぐに適用できる指標設定、テストの設計方法を学びましょう。

今回のウェビナーは少し特殊なオーディエンスを対象に行いました。データベースの製品成長戦略の構築、つまり製品データ分析に関心が高く、また悩みも多く、特に「指標」をどのような基準で設定し、どのように効果的に測定すべきかについて実質的なアドバイスを求める方が多くいました。そのため、事前企画で「指標の設定」にフォーカスして扱うことにしました。

アクティベーションの基準は何だろう？

独自の方法と悩みが含まれた仮定が必要な指標 → 'Proxy Metric'

私たちはサービス成果測定の指標として、よく登録、アクティベーション、エンゲージメント、収益化（決済）などを挙げますが、アクティベーションやエンゲージメントの基準はどのように定義するのでしょうか？ほとんどのビジネスでは、各自が独自の仮定と計算法を基にどのような状況を想定し、内部的に協議して基準を決定するでしょう。このように「会員登録」のように直接的で明確な行動で定義できるものではなく、活性化とエンゲージメントのように抽象的で、製品ごとに独自の仮定と定義、議論が必要な指標を「Proxy Metric」と呼びます。

気になりますが、直接測定できないので、代替物(Proxy)を決めて測定するという意味です。加入、売上のような直接的な指標は、実は設定と測定ともに直感的ですが、Proxy指標は設定自体に多くの議論が必要で、正解がないので難しい指標と言えます。この部分でFacebookのAha-moment指標の事例を例に挙げて説明が可能ですが、Facebookも恣意的に定義した「活性化」指標が統計的に完璧ではないが、最終的に成果につながったように、完璧な指標を設定しようとして無駄な時間を費やすよりも、現在のレベルで最も合理的に（早く）最善を尽くして指標を設定し、これを集中して改善しようと努力する、「実行」が最終的にもっと重要だという気づきを得ることができます。

結論として、指標設定はScience(科学)でありながらArt(芸術)の領域であり、指標には直接的な指標から間接的な指標までスペクトルが存在することが分かりました。そして、より正確に指標を設定しようと努力する時間には、現在のレベルで最善を尽くして設定した指標を集中的に改善することに集中した方が良いという学びがありました。

すべての製品に適用できるフレームワークとは？

個々の製品ごとに深く考えて指標を設定すればいいのですが、一般的なフレームワークがあれば、私たちはこれを参考にして少し効率的かつ迅速に指標を設定することができます。と大きく獲得、アクティベーション、エンゲージメント、リテンション、収益化に分けて、それぞれどのような指標が必要で、どのようなフレームワークを使えばいいのかが重要です。

まず、獲得(Acquisition)に関しては、私たちは十分に多くの新規ユーザーを獲得しているのか、新規ユーザーをコスト効率よく獲得しているのか、この2つの質問に答えなければなりません。この二つの質問に答えるために、CAC(顧客獲得コスト)、Lifetime Value(顧客生涯価値)、Payback Period(投資回収期間)など、グロースチームで主に計算して見る指標があります。

実際に多くの新規製品、スタートアップの場合、グロースチームがなかったり、1人のマーケターがすべてを見なければならない場合が多いのですが、この過程で経験する試行錯誤と外部要因の網羅が重要です。スタートアップCEOの方や、グロースマーケタージュニアにとって重要なポイントです。

第二に、活性化(Activation)の場合、ユーザーが経験する主要な3つのモーメント(Setup Moment、Aha Moment、Habit Moment)を基準に、それぞれのMomentへのコンバージョン率を指標として測定する方法をがあります。個々のモーメントはそれぞれのプロダクトチームで決定して定義し、新規ユーザーのうち、そのモーメントを経験したユーザーの割合がどれくらいかをコンバージョン率で測定し、ユーザーの活性化度を測定することができます。その他、エンゲージメント、リテンション、収益化についても、実務ですぐに使える様々な指標と測定及びモニタリング方法の検討が必要となります。

指標には階層構造がある？インプット指標とアウトプット指標について

結果として現れる指標(例：売上)を「アウトプット指標」、結果に影響を与える指標(例：アクティブユーザー数、購買コンバージョン率など)を「インプット指標」といいます。インプット指標は、結果指標に影響を与えると考えられるものであれば、どのようなものでも良いそうです。例えば、商品数、詳細ページの数など些細なものから、ブランドに対するユーザーの信頼度、サービスの使いやすさなど、測定が難しいものや、数式で明確に表現するのが難しいものもインプット指標と定義できます。

Q&A

Q. 一人のユーザーを獲得するのに貢献する媒体が一つではなく、複数の媒体が貢献する場合、チャンネル別CACが有意義なのか、それとも別の方法論があるのか知りたいです。

A.それはマルチチャネルアトリビューション(multi channel attribution)モデリング(私がよく知っている領域ではありませんが...)の領域ですね！マルチチャネルアトリビューションモデリングで顧客獲得に各チャネルがどれだけ貢献したかを推定し、これをCAC計算に反映することができると知っています。

Q. グロースハックや製品データ分析に関する情報は主にどこで入手するのですか？

A. 様々な媒体/ソースを通して得ています。以下の通りです。
- 購読しているニュースレター : lenny's newsletter, Hiten Shah, Elena Verna, Lea Tharin
- TwitterやLinkedInを通じた情報収集 : Leah, Shreyas Doshi
- 有料教育プラットフォーム/ブログ : Reforge

HEARTCOUNTユーザーであれば、活用例を実際に試すことが可能です！
可視化機能は無料です！ 👉今すぐお試しください。