PoCの効果検証、何を測れば判断できるのか｜成功基準と止める条件

PoCが終わったのに、続けるかどうかの判断ができない。この相談は珍しくありません。データは取れている、レポートも出ている、それでも会議では「効果があった気がする」で止まる。

原因は測定の精度ではありません。何を決めるために測るのかが、始める前に決まっていなかったことです。
この記事では、映像やセンサーから取ったデータの効果検証を、何から設計するかの順番で整理します。

Index
• 1なぜ「効果があった気がする」で終わるのでしょうか
• 2何を測るかは決めたいことから逆算する
• 3比較する前の状態は、どう押さえるのでしょうか
• 4成功基準は始める前に文章で決める
• 5測る期間はどのくらい必要なのでしょうか
• 6検証を続ける形にするために要るもの

なぜ「効果があった気がする」で終わるのでしょうか

比較する前の状態を持っていないためです。導入後の数字だけがあっても、季節や曜日の影響と施策の影響を切り分けられません。判断に使えるのは差分であって、水準ではありません。

もうひとつの理由は、指標を並べすぎることです。取れるデータを全部ダッシュボードに載せると、会議では見やすい指標だけが話題になり、判断に必要な指標が埋もれます。
指標を10個出しても、翌月の判断に使われるのは2つか3つです。

当社も過去に、大企業のデータ基盤案件で「アウトプットは出ているが、進め方・論点設計・能動的な提案が見えない」という強い指摘を受けたことがあります。そこから論点のリアルタイム共有と定例での壁打ち、見積りの物差しづくりへと進め方を作り直しました。
大企業を相手にした検証では、出した成果物の量より、判断に至る筋道が評価されます。

何を測るかは決めたいことから逆算する

測りたいものからではなく、決めたいことから逆算します。次にどの判断をするのかが決まれば、必要な指標は自然に絞られ、そこに載らない指標は取らなくてよくなる。指標の数は増やさないほうが機能します。

最後の行が抜けやすいところです。ダッシュボードの閲覧数や取得件数は、成果ではなく活動量です。
継続の判断は「その数字で何を決めたか」の件数で測るほうが、議論がぶれません。

比較する前の状態は、どう押さえるのでしょうか

施策を入れる前の期間を、同じ指標・同じ計測方法で先に記録します。過去のデータが無い場合は、施策を入れないエリアを並行して測り、同じ期間で比べる形にします。あわせて誤差の幅も押さえます。

ここで効くのは、誤差の幅が分かっていることです。
当社の検証では、人数カウントの実測誤差は±2%以内、IN/OUTのバランスは98〜102%の範囲に収まりました（複数のロードサイド店舗・当社実績のレンジ）。屋内型はRMSE評価で実用水準を確認しています。

誤差の幅が分かっていると、観測された差が意味のある差かどうかを言えます。
逆に精度を確かめずに始めると、差が出ても「計測のばらつきではないか」という指摘に答えられません。ベースラインと同時に、誤差の幅も先に押さえます。

成功基準は始める前に文章で決める

数値の目標より先に、判断の条件を文章で決めます。「この結果ならこう進める」「この結果なら止める」を始める前に合意しておくと、終わったあとの解釈で揉めることがなくなります。

国の資料でも、目標を数値で置く例が示されています。警察庁は警備業の労働生産性を2029年度までに25%引き上げる目標を掲げています（「省力化投資促進プラン ―警備業―」2025年12月）。
ただし現場の検証では、いきなり最終的な成果指標を置くと測れないことがあります。最初は「判断に必要な数字が、判断のタイミングまでに揃うか」を基準にするほうが現実的です。

もうひとつ決めておくのは、止める条件です。指標が動かない、そもそも計測できない、運用の手間が想定を超える。
止める条件を先に書いておくと、続けるかどうかの議論が感情の話になりません。

測る期間はどのくらい必要なのでしょうか

曜日と季節の変動を一巡できる長さが目安です。個人情報保護委員会の資料も、一定期間を設けて試験的に実施することが望ましいとしています。範囲は絞り、期間は変動が見える長さを取ります。

同資料は、試験的な実施を勧める理由として2点を挙げています。突然の導入に対する批判と、検討段階では想定していなかった問題が生じるおそれ。
結果を踏まえて再度評価し、リスク要因への対応をする流れです（「犯罪予防や安全確保のための顔識別機能付きカメラシステムの利用について」2023年3月・第6章）。

実務では2段階に分けて考えます。最初の判断材料は1四半期で出ます。曜日と月内の波はこの長さで見え、指標を絞り込む材料になります。
一方で季節要因を含めて数字を確定させるには1年分の記録が必要です。1四半期の結果で続けるかどうかを決め、季節を一巡させながら精度を上げる、という順番になります。

範囲を絞る理由は費用を抑えるためだけではありません。何を測れば議論が変わるのかは、実際に数字を出してみるまで分からないからです。一度出して、使われた指標と使われなかった指標を見極めてから広げます。
この段階にかかる費用の内訳はカメラ映像の活用にいくらかかるのかで分解しています。

検証を続ける形にするために要るもの

月次で同じ指標を出し続ける仕組みと、運用担当者以外が結果を確認する形です。単発の分析で終わらせず、判断の場に数字が毎回並ぶ状態にするところまでを設計に含めます。

当社は以前、予実のズレを分析してレポートする支援をしていましたが、分析結果が現場に還元されないという課題がありました。分析知見をRAG（検索拡張生成）としてシステム化し、予算策定時に過去の類似案件を即座に参照できる仕組みへ変えたことで、はじめて現場の意思決定に組み込まれました。
分析は単発で終わらせず、実装に転換することで価値が続きます。

関係者への説明と合意の作り方は合意形成は誰と何をどの順で、映像を統計として扱うための設計は防犯目的と統計利用を分ける順番で扱っています。効果検証はその2つが片づいた前提で回り始めます。

確認の役割を分けることも大切です。個人情報保護委員会の資料は、運用担当者以外の者による内部監査の体制を整えることが望ましいとしています。効果の検証も同じ構造にすると、都合のよい解釈が入りにくくなります。

経営への説明も、続ける前提で組んだほうが軽くなります。月次のレポートが積み上がっていれば、次年度計画や追加投資の説明に同じ記録をそのまま使えます。

検証の結果を次の判断につなげるところまでを含めた進め方は防犯カメラを施設運営の判断材料に変える｜安全から始めるデータ基盤にまとめています。

まとめ

効果検証は測定の精度ではなく、設計の順番で決まります。決めたいことから指標を逆算し、施策を入れる前の状態と誤差の幅を先に押さえる。進める条件と止める条件を文章で合意しておく。
期間は曜日と季節の変動が一巡する長さを取り、範囲は絞る。そして月次で同じ指標を出し続け、運用担当者以外が結果を確認する形にする。この順で組めば、終わったあとに「効果があった気がする」で止まることがなくなります。

データの整理や分析基盤の構築について、何から手をつければよいかわからない場合や、自社の状況を整理したい場合は、お気軽にご相談ください。

よくある質問

Q. 導入前のデータがまったくありません。それでも検証できますか？
A. 施策を入れないエリアを並行して測り、同じ期間で比較する形が取れます。過去のデータがない場合は、最初の数週間を計測だけの期間に充て、そこをベースラインとして扱う進め方も現実的です。

Q. 指標はいくつくらいに絞るべきでしょうか？
A. 会議で毎回参照するものに限ると、多くの場合3つ前後に収まります。取得自体は広めにしておき、定例で出すものを絞る形がおすすめです。使われなかった指標は次の期に落とします。

Q. 効果が出なかった場合、PoCは失敗ということになりますか？
A. 指標が動かなかったこと自体が判断材料になります。測る対象がずれていたのか、施策が届いていなかったのかを切り分けられれば、次の設計に使えます。止める条件を先に決めておくと、この切り分けが早く済みます。