ひとことで言うと#
ショーン・エリス・テストは、「このプロダクトが使えなくなったらどう感じますか?」という質問に対し、「非常に残念」と回答したユーザーが40%以上なら、プロダクト・マーケット・フィット(PMF)に達していると判定する定量的なテストです。
用語の定義#
押さえておきたい用語
- PMF(Product-Market Fit):プロダクトが市場のニーズに合致し、持続的な成長が見込める状態。スタートアップの最重要マイルストーン
- 40%基準(40% Benchmark):「非常に残念」の回答率が40%を超えるとPMF達成とする閾値。過去のスタートアップの成長データから導かれた経験則
- コアユーザー(Core User):プロダクトの中心的な利用者。調査対象はプロダクトを最低2回以上使い、主要機能を体験したユーザーに限定する
- ユーザーベネフィット(User Benefit):「非常に残念」と回答したユーザーが感じている主な価値。これがプロダクトのポジショニングの軸になる
- 失望ユーザー(Disappointed Users):「非常に残念」以外を選んだユーザー。「やや残念」は改善余地あり、「残念ではない」はターゲット外の可能性がある
全体像#
コアユーザーを特定
2回以上利用した人
→2回以上利用した人
1問のアンケート送付
「使えなくなったら?」
→「使えなくなったら?」
「非常に残念」の割合算出
40%が閾値
→40%が閾値
結果に基づき改善
ユーザーセグメント分析
ユーザーセグメント分析
こんな悩みに効く#
- 自分たちのプロダクトがPMFに達しているかどうか、客観的に判断できない
- NPS(推奨度)やDAU(日次アクティブ)など指標が多すぎて、何を見るべきかわからない
- ユーザー数は増えているが、本当に「なくてはならない」プロダクトになっているか不安
基本の使い方#
調査対象のコアユーザーを定義する
プロダクトを最低2回以上利用し、主要な機能を体験したユーザーに限定します。初回利用者や登録しただけの人を含めると結果が歪みます。理想的なサンプルサイズは100名以上です。
1つの質問を送る
「このプロダクトが使えなくなったらどう感じますか?」という質問に、3つの選択肢(①非常に残念、②やや残念、③残念ではない)で回答してもらいます。追加で「このプロダクトの最大の価値は何ですか?」というオープン質問を加えると、定性的なインサイトも得られます。
「非常に残念」の割合を算出する
全回答者に対する「非常に残念」の割合を計算します。40%以上ならPMF達成の目安、**25〜39%**なら改善の余地はあるが方向性は正しい、25%未満ならプロダクトの根本的な見直しが必要です。
セグメント別の分析で改善方向を決める
「非常に残念」と回答したユーザーのプロファイル(業種、利用頻度、利用機能)を分析し、最もフィットしているセグメントを特定します。そのセグメントが感じている価値を強化する方向で改善します。「残念ではない」と答えたユーザーは、ターゲットから外すことも選択肢です。
具体例#
BtoB SaaSのPMF判定と改善
プロジェクト管理SaaS(ユーザー2,000名)が、成長の鈍化を感じてショーン・エリス・テストを実施。コアユーザー300名にアンケートを送り、180名から回答を得た。「非常に残念」は**32%でPMF未達。セグメント分析すると、10名以上のチームで利用しているユーザーでは「非常に残念」が52%に達する一方、個人利用者では18%だった。チーム利用の体験を強化する方向に開発リソースを集中し、チーム向けダッシュボード機能とレポート機能を追加。3か月後の再テストで全体の「非常に残念」が32%→44%に上昇し、PMF達成と判断。その後の月次成長率が5%→12%**に加速した。
コンシューマーアプリの方向性修正
習慣トラッキングアプリ(DL数5万、MAU8,000)がショーン・エリス・テストを実施。MAUのうちコアユーザー(週3回以上利用)2,000名に調査し、「非常に残念」はわずか19%。ユーザーの自由記述を分析すると、「非常に残念」群は「リマインダー通知が生活を変えた」と回答しており、「やや残念」群は「UIがきれいだが別のアプリでも代替できる」と回答。リマインダーのパーソナライズ機能(行動パターンに応じた最適タイミング通知)を強化し、6か月後の再テストで「非常に残念」が19%→38%に上昇。DAUも3,200→5,800に増加した。
投資判断の根拠としての活用
シードラウンドのスタートアップ(チーム5名)が、Series A調達の前にショーン・エリス・テストを実施。ユーザー500名中のコアユーザー120名にアンケートを送り、「非常に残念」が47%。この結果を投資家へのピッチ資料に含め、「PMFを定量的に達成している」根拠として提示。追加で「非常に残念」ユーザーの62%が有料プランに移行しているデータも添え、「PMFからの有料転換パスが見えている」と説明。目標額3億円のSeries Aを成功させ、リードVCからは「感覚ではなくデータでPMFを示した点が評価ポイント」とフィードバックを受けた。
やりがちな失敗パターン#
| 失敗 | 原因 | 対策 |
|---|---|---|
| 全ユーザーに調査してしまう | 登録しただけの非アクティブユーザーを含めて結果が低くなる | コアユーザー(最低2回利用、主要機能を体験済み)に限定する |
| 40%を絶対基準として硬直的に運用する | 40%は経験則であり、業界や製品カテゴリによって異なる | 40%は目安。トレンド(前回25%→今回35%)の改善方向を重視する |
| テスト結果だけで意思決定する | 数値は出たが、なぜその結果になったかを分析しない | 定量結果に加えて「最大の価値は何か」のオープン質問で定性分析を必ず組み合わせる |
| 一度のテストで判断を確定する | 季節変動やプロモーション流入で結果がブレる | 四半期ごとに継続的に実施し、トレンドで判断する |
まとめ#
ショーン・エリス・テストの強みは「たった1つの質問でPMFを判定できる」シンプルさにあります。NPS、DAU、チャーンレートなど多数の指標が存在する中で、「この製品がなくなったら非常に残念と感じるユーザーが何%いるか」は、プロダクトの存在価値を最も直接的に測る問いです。40%を超えることが目標ですが、より重要なのは「非常に残念」と答えたユーザーが何に価値を感じているかを深掘りし、その価値を強化する改善を続けることです。