社外チャットボット 分析指標

社外チャットボット(RAG)の利用状況を分析する各種指標について説明します。

社外チャットボットでは、エンドユーザーの質問内容や回答の成功率を分析できます。

社外チャットボットの分析ページは、Lite・Professionalプランでのみ利用できます。

指標一覧

機能概要
チャット質問文ランキング質問文の利用頻度をランキング形式で表示
チャット0件ヒット回答を提供できなかった質問と、回答は返したもののサイトに記載が無く答えられなかった点があった質問の一覧(前者は、情報源が見つからなかった場合のほか、NGワード検出・プロンプトインジェクション検出・LLMが回答不可と判断した場合・利用者による生成停止を含む)
チャットログ詳細なチャット履歴の生ログ(CSV出力対応)

チャット0件ヒットの回答ステータスには、「回答なし」と「記載なし」の2種類があります。「記載なし」は、回答は返したものの、質問された事柄の一部または全部がサイトに記載されておらず答えられなかった質問です。質問文の下に、記載が無かった点(回答を作成したAIによる申告)が表示されるため、FAQやサイトコンテンツに追加する内容の検討に利用できます。

チャットログでは、行をクリックするとチャットの種別・使用モデル・回答ステータス・回答なしの理由・過去の質問履歴・引用元URL・トークン使用量を確認できる詳細画面が開きます。「Bot リクエストを含める」トグルで、Botによるアクセスを含めて表示することもできます。