Observability Dashboard

Observability Dashboardを使用すると、Copilot、Autopilot Knowledge、Autopilotで採用されているAI機能を精査できます。 ダッシュボードは、生成応答のパフォーマンスに関する包括的な洞察を提供し、改善すべき領域を特定し、運用を最適化できるようにします。

Copilot

Observability DashboardCopilotに関する情報は、生成応答、Copilot for Agentsクエリ、およびAutoSummaryの情報を提供します。

  1. アプリセレクター をクリックして、Actionsを選択します。

  2. Actionsで、[オブザーバビリティダッシュボード]をクリックします。

    デフォルトでは、Copilotダッシュボードが表示されます。 これには、次の 3 つのグラフが含まれています。

  3. 必要に応じて、ダッシュボードの日付範囲を更新し、チャネルでインタラクションタイプを選択します。 音声インタラクション、チャットインタラクション、またはすべての詳細を表示することを選択します。

  4. クエリーを実行をクリックします。 3つのグラフが更新され、希望の日付とチャネルが反映されます。

GenAIパフォーマンスに関するデータの表示

生成応答は、通話中に自動的に生成される応答です。

  1. GenAIパフォーマンスラベルをクリックして、統計にドリルダウンします。 次の 3 つのグラフが表示されます。

    • 時間推移:使用、変更、無視、または回答に至らなかった回答の割合を時系列で表示します。

    • カテゴリー別:カテゴリ別に詳細を表示します。

    • インタラクションあたりの平均Kb:1日あたりのナレッジベースインタラクションの平均数を示します。

  2. グラフに表示されるデータをカスタマイズできます。

    • 時間推移グラフとカテゴリーグラフでは、凡例をクリックすることで、さまざまな回答ステータスの表示を切り替えることができます。

    • 時間推移グラフとカテゴリグラフで、絶対数 またはパーセンテージ toをクリックして、パーセンテージと絶対数を切り替えます。

    • 3つのグラフすべてで最大化をクリックすると、データが表形式で表示されます。

  3. 下にスクロールして、カテゴリー別にグループ化されたデータを確認します。 カテゴリービューは、知識ベースの回答をさまざまなカテゴリーに整理し、構造化された分析アプローチを提供します。 各カテゴリは以下を示します：

    • 知識ベースの回答の合計数

    • 平均順守スコア

    • 提供されたリンクと画像の平均数

    • 平均知識スコア（知識ベースによって割り当てられたスコア）

  4. カテゴリをクリックすると、次のような特定のクエリとその詳細が表示されます。

    • 知識ベースに送信されたクエリ

    • 知識ベースの回答の推奨事項

    • エージェントの実際の応答

    • 提供されたリンクと画像の数

    • 遵守スコア（提案された応答と実際の応答の類似度）

    • インタラクションの開始からのオフセット

    クエリごとに、次のことができます。

    • インタラクションを再生する をクリックしてインタラクションの音声を聞きます(利用可能な場合)。

    • クエリーの情報ボタンをクリックします。 右側の 応答の詳細 パネルで、記事の作成 ボタンをクリックして、ナレッジ記事を生成します。 AIが生成した記事は、トランスクリプトに基づいて作成されます。 必要に応じて記事を編集し、公開できます。

      記事の編集と公開の詳細については、ナレッジ生成のヘルプを参照してください。

  5. このデータの表示方法を切り替えることができます。 デフォルトのビューはカテゴリ別です。 グループ化をクリックして、グループ化をカテゴリから次のいずれかに変更します。

    • マスターコンタクト

    • チーム

    • スキル

    • エージェントID

    新しいグループ化に基づいてデータが再表示されます。

エージェントのクエリーに関するデータの表示

エージェントクエリには、エージェントの質問に基づいてオンデマンドで生成されたナレッジベースの回答に関する情報が表示されます。 直接クエリの状態と遵守スコアを示すグラフを提供します。

  1. グラフの見出し エージェント クエリ をクリックして、統計をドリルダウンします。 最初のグラフは、時間経過による回答と無回答の割合を示しています。 2つ目のグラフは、カテゴリーの詳細を示しています。

  2. 凡例をクリックすると、さまざまな回答ステータスの表示を切り替えることができます。

  3. 絶対数 またはパーセンテージ をクリックして、パーセンテージと絶対数を切り替えます。

  4. 最大化 をクリックするとグラフが全画面で表示されます。

  5. 下にスクロールすると、カテゴリー別に分類されたデータを確認できます。 カテゴリービューは、知識ベースの回答をさまざまなカテゴリーに整理し、構造化された分析アプローチを提供します。 各カテゴリーについて次の情報が表示されます。

    • 総レスポンスの数

    • 無応答の数と平均

    • 提供されたリンクとイメージの平均数

    • 平均ナレッジスコア(知識ベースによって割り当てられたスコア)

  6. カテゴリーをクリックすると、具体的なクエリーと次のような詳細が表示されます：

    • エージェントのクエリが知識ベースに送信されました

    • エージェントのクエリへの応答

    • 提供されたリンクとイメージの数

    • 応答の日時

    • 平均知識スコア

AutoSummaryクエリに関するデータの表示

AutoSummaryは、パフォーマンスの概要を包括的に表示します。 インテントとスキル別にグループ化されたデータで、パフォーマンスの推移を時系列で追跡するグラフを確認できます。 詳細なテーブルには、実際のサマリーと並んで推奨されるサマリーが表示され、精度を図るための遵守スコアも付いています。 より包括的な詳細については、特定のインタラクションを再生して、実際の会話でサマリがどのように生成され、使用されているかの全体像を把握することができます。

  1. グラフの見出しAutoSummaryをクリックして、統計をドリルダウンします。

    • 最初のグラフは、時間の経過と共に使用された要約の割合を示しています。 要約は、現状のまま、改訂済み、軽微な修正あり、無視のいずれかの方法で使用されていると識別されます。

    • 2番目のグラフには、インテント別の詳細が表示されます。

    • 3番目のグラフには、スキル別の詳細が表示されます。

    • 4番目のグラフには、チーム別の詳細が表示されます。

    凡例をクリックすると、さまざまな回答ステータスの表示を切り替えることができます。

  2. 絶対数 またはパーセンテージ をクリックして、パーセンテージと絶対数を切り替えます。

  3. 最大化 をクリックするとグラフが全画面で表示されます。

  4. 下にスクロールすると、カテゴリー別に分類されたデータを確認できます。 カテゴリービューは、知識ベースの回答をさまざまなカテゴリーに整理し、構造化された分析アプローチを提供します。 各カテゴリーについて次の情報が表示されます。

    • 総レスポンスの数

    • 無応答の数と平均

    • 提供されたリンクとイメージの平均数

    • 平均ナレッジスコア(知識ベースによって割り当てられたスコア)

  5. カテゴリーをクリックすると、具体的なクエリーと次のような詳細が表示されます：

    ナレッジベースに送信されるエージェントクエリ

    • エージェントのクエリへの応答

    • 提供されたリンクとイメージの数

    • 応答の日時

    • 平均知識スコア

CXリーダーであるMarkは、このObservability Dashboardを使用して、ナレッジベース内の知識のギャップを特定したいと考えています。 彼は、多くの知識ベースの提案が修正されたり無視されたりしていることに気づきました。 マークは、[知識ベースの回答]をクリックし、カテゴリー別にデータを表示します。 彼は、提案と実際の対応との間にズレがあることを示す、平均遵守スコアが低いカテゴリーに注目しています。 マークは、「請求と支払い」のようなスコアの低いカテゴリーを拡大することで、支払いプランや返金ポリシーに関するクエリーの遵守率が低く、これらの分野におけるナレッジギャップを示唆していることを確認します。

Observability Dashboardを通じて、マークは知識ベースの拡張が必要なトピックを特定できます。 その後、ナレッジベースチームと協力してこれらのギャップに対処し、顧客とのやり取りを改善するための提案の質を向上させることができます。

Autopilot Knowledge

Observability DashboardAutopilot Knowledgeには、自動化されたシステムが顧客の質問をどの程度うまく処理しているかに関するデータが表示されます。 パフォーマンスの推移を時系列で表示するグラフが表示されます。 これにより、毎日、毎週、または毎月の変更を追跡できます。

  1. アプリセレクター をクリックして、Actionsを選択します。

  2. Actionsで、[Observability Dashboard] をクリックします。

  3. Autopilot Knowledgeタブをクリックします。

  4. ダッシュボードに必要な日付範囲を設定し、クエリーを実行をクリックします。

  5. GenAIパフォーマンスラベルをクリックすると、応答に関する詳細なグラフが表示されます。

    • 時間推移グラフ:成功した応答と応答なしの数を追跡します。

    • カテゴリー別グラフ:長所と短所の領域をカテゴリ別にグループ化して識別します。

    グラフ内のデータの外観をカスタマイズできます。

    • パーセンテージと絶対数を切り替えるには、絶対数 またはパーセンテージ をクリックします。

    • グラフを全画面で表示するには、最大化 をクリックします。

    • 異なる回答ステータスの表示を切り替えるには、グラフの回答または応答なしの凡例をクリックします。

  6. グラフの下を下にスクロールすると、インテント別にグループ化されたデータが表示されます。 インテントビューは、サマリーを異なるカテゴリーに整理し、分析への構造化アプローチを提供します。 各インテントは以下を示します：

    • サマリーの意図

    • サマリー数と平均

    • 平均遵守と割り当てられたスコア

  7. 特定のクエリとその詳細を表示するには、次のようなカテゴリをクリックします。

    • 提案された要約

    • 実際の要約

    • 遵守の割合とステータス

    • サマリ日時

Autopilot

Observability DashboardAutopilotは、ナレッジベースが顧客の質問にどれだけうまく対応できるかを示します。 このダッシュボードを使用して、ナレッジベースに記事を追加したり、記事をカスタマイズして顧客の質問に的確に回答したりできる領域を探します。

  1. アプリセレクター をクリックして、Actionsを選択します。

  2. Actions で、[Observability Dashboard] をクリックします。

  3. Autopilotタブをクリックします。

  4. ダッシュボードに必要な日付範囲を設定し、クエリーを実行をクリックします。

  5. GenAIパフォーマンスラベルをクリックすると、指定した期間に寄せられた質問と提供された記事の詳細が表示されます。

    2つのグラフが表示されます。

    • 時間推移 graph:一定期間における成功した応答と無応答の数を表示します。 応答は、ユーザーに記事が表示されたことを示します。 応答がない場合は、一致する記事が見つからなかったことを示します。

    • カテゴリー別グラフ:カテゴリ別の成功した応答と無応答の数を表示します。

    グラフ内のデータの外観をカスタマイズできます。

    • パーセンテージと絶対数を切り替えるには、絶対数 またはパーセンテージ をクリックします。

    • グラフを全画面で表示するには、最大化 をクリックします。

    • 異なる回答ステータスの表示を切り替えるには、グラフの回答または応答なしの凡例をクリックします。

  6. グラフの下を下にスクロールすると、クエリの詳細を示すテーブルが表示されます。 クエリはカテゴリ別にグループ化されます。

  7. カテゴリをクリックすると、特定のクエリと提供された応答が表示されます。 これを使用して、ナレッジベースで記事が不足している可能性のある領域を特定します。