AIチャットボットは、公開した瞬間に完成するものではない。実際に顧客が使い、何が解決でき、何ができなかったかを測りながら、回答や導線を改善していく前提のものである。そのためには、「うまくいっているか」を判断する指標を、導入前に決めておく必要がある。

本記事は、AIチャットボットの効果測定で確認しておきたい論点を、発注者の視点で整理する。読者として想定しているのは、中小企業の経営者、カスタマーサポート・サポート部門の責任者、DX担当である。指標というと難しく感じるかもしれないが、「何のために導入したか」を測れる形にしておけば十分である。なお本記事では、効果の度合いを示す具体的な数値は扱わず、何を・どう測るかの考え方に絞って解説する。

結論：目的に沿った指標を選び、測れる形にしておく

効果測定で大切なのは、指標を数多く並べることではなく、導入の目的に沿った指標を選び、最初から測れる形で設計しておくことである。GXOが効果測定で重視するのは、次の3点である。

  • 自己解決と有人対応への移行を、後から数えられる形でログに残す
  • 問い合わせの削減だけでなく、顧客が満足したかも測る
  • 指標を改善活動につなげ、測りっぱなしにしない

測定の仕組みは、後から付け足すより最初から組み込むほうが確実である。何を測るかを決めずに公開すると、改善の手がかりが残らないまま運用が進んでしまう。

なぜ効果測定が必要か

AIチャットボットは、入れただけでは良くも悪くも判断できない。顧客がどこでつまずき、何が解決できなかったかが見えなければ、改善のしようがない。効果測定が甘いと、次のような状態に陥る。

  • 役に立っているのか分からないまま、なんとなく運用が続く
  • どの質問に弱いかが見えず、改善の優先順位が付けられない
  • 経営層に対して、導入の成果を説明できない

効果測定は、改善のための「目」である。何を測るかを決めておくことが、運用と改善の出発点になる。運用の体制とあわせてAIチャットボット・カスタマーサポート自動化｜運用・チューニング体制で扱う改善サイクルの土台にもなる。

主な指標とその意味

効果測定で見る指標は、大きく「解決できたか」「負担が減ったか」「満足したか」に分けて考えると整理しやすい。

指標何を見るか注意点
自己解決率ボットだけで解決できた割合解決の定義を決める必要がある
有人対応への移行率人へ引き継いだ割合高い・低いの良し悪しは目的次第
問い合わせ件数の変化有人窓口の負担の変化チャネル全体で見る必要がある
顧客満足度やり取りに満足したか件数だけでは測れない質を補う

これらの指標は、単独ではなく組み合わせて見るのが基本である。たとえば有人への移行が多いこと自体は悪いとは限らず、難しい問い合わせを適切に引き継げているなら望ましい状態でもある。一つの指標だけを良くしようとすると、別のところにしわ寄せが出やすい。複数の指標を並べて見ることで、全体としてよくなっているかを判断できる。

指標をどう定義するか

指標は、名前を決めるだけでは測れない。「解決できた」とは何をもって判断するか、を決めておかないと、同じ言葉でも測り方がばらつく。

自己解決の定義を決める

  • 有人に引き継がずに会話が終わったら解決とみなすか
  • 顧客が「解決した」と回答したものだけを解決とするか
  • 同じ顧客が短時間に再度問い合わせた場合をどう扱うか

削減をどう捉えるか

問い合わせの削減は、チャットボットの件数だけを見ても判断できない。電話やメールを含めたチャネル全体で、有人対応の負担がどう変わったかを見る必要がある。チャネルをまたいだ見方はAIチャットボット・カスタマーサポート自動化｜マルチチャネル対応とあわせて整理したい。定義を決めずに数字だけを追うと、見かけ上の改善に振り回されやすい。

測れる形にしておく

効果測定でつまずきやすいのは、いざ測ろうとしたときに必要なログが残っていないことである。後から測れるよう、何を記録するかを設計段階で決めておきたい。

記録したいこと用途
会話が解決で終わったか、有人へ移ったか自己解決率・移行率の算出
どの質問・話題でつまずいたか弱点の特定と改善
顧客の満足度の回答質の評価
時間帯・チャネルごとの利用状況運用体制の見直し

これらの記録には個人情報が含まれることがあるため、保管やアクセスの扱いはAIチャットボット・カスタマーサポート自動化｜個人情報・セキュリティで整理した方針とそろえておきたい。測定のためのログと、個人情報の保護は、両立させる設計が必要である。

測りっぱなしにしない

効果測定は、数字を眺めるためではなく、改善につなげるために行う。指標を出して終わりにせず、定期的に見て次の打ち手を決める流れまでを想定しておきたい。

  • 定期的に振り返る場を持つ：誰が、どれくらいの頻度で指標を見るかを決める
  • 弱点を改善に回す：つまずきの多い質問から、回答やFAQを見直す
  • 目的に立ち返る：当初の目的に対して、効果が出ているかを判断する

指標が改善に回らないと、測ること自体が形骸化する。誰が見て、何を決めるかまで決めておくことが、効果測定を機能させる鍵になる。

また、指標は一度決めたら固定というものでもない。運用を進めるうちに、当初の指標では捉えきれない動きが見えてくることがある。たとえば、自己解決率は高いのに顧客の不満が残っている、といった食い違いである。こうしたときに指標の定義や見る観点を見直せるよう、測定の仕組みは後から調整できる前提で持っておきたい。最初から完璧な指標を決めようとするより、運用しながら育てる姿勢のほうが現実的である。

導入前チェックリスト

  • 導入の目的を、測れる指標として表現したか
  • 自己解決の定義を決めたか
  • 問い合わせの削減を、チャネル全体で見る方針を決めたか
  • 顧客満足度を測る手段を想定したか
  • 指標を算出するために必要なログを洗い出したか
  • ログの保管・アクセスを、個人情報の方針とそろえたか
  • 指標を見る担当者と頻度を決めたか
  • 指標を改善活動につなげる流れを想定したか

開発会社に確認する質問

質問確認したいこと
自己解決率や有人移行率を測れますか基本指標の取得
どの質問でつまずいたかを把握できますか弱点の可視化
顧客満足度を取得する仕組みはありますか質の測定
指標を確認する画面やレポートはありますか可視化の手段
測定に必要なログは公開前から残せますか測定設計の前提
指標の定義を後から変えられますか運用の柔軟性

「導入すれば自然に効果が出ます」という説明には注意したい。何をもって効果とするかを一緒に定義できるかが、改善できる運用の分かれ目になる。

相談前に整理しておくとよい情報

  • AIチャットボットを導入したい目的
  • いま把握できている問い合わせの件数や傾向
  • 電話・メールなど、ほかのチャネルの状況
  • 「解決した」と判断したい基準のイメージ
  • 指標を見て判断する社内の担当者

これらが整理されていなくても相談は可能である。導入の目的と、いまの問い合わせの状況が見えていれば、測るべき指標とその定義を一緒に設計できる。

関連記事

よくある質問

Q1. 自己解決率はどれくらいを目指せばよいですか

業種や問い合わせの内容によって適正な水準は大きく異なるため、一律の目標値を置くことはおすすめしない。まずは現状を測り、改善の前後で比べられる形にすることが先である。数値の高さそのものより、改善できているかを見たい。

Q2. 効果が出ているか、どれくらいで判断できますか

公開直後は利用が安定せず、判断材料がそろわないことが多い。一定期間運用してログを溜めたうえで、改善の前後を比べて判断するのが現実的である。短期間の数字だけで結論を出すと、誤った判断につながりやすい。

Q3. 件数の削減と顧客満足度は、どちらを優先すべきですか

どちらか一方ではなく、両方を見たい。件数だけを追うと、解決していないのに会話を打ち切るような改善に向かいかねない。負担の軽減と満足の両方を見ることで、健全な改善につながる。

AIチャットボット導入前に、何を効果として測るかを整理しませんか

GXOでは、AIチャットボットを導入する前に、導入の目的、自己解決の定義、測るべき指標、必要なログを整理し、効果を測りながら改善できる設計をご支援します。測りっぱなしにせず、改善につながる運用までを一緒に検討します。

AIチャットボット導入前相談をする

※ 初回相談では、営業資料の説明よりも現状整理とリスク確認を優先します。