Observability Dashboard

Observability Dashboardを使用すると、Copilot、Autopilot Knowledge、Autopilotで採用されているAI機能を精査できます。 ダッシュボードは、生成応答のパフォーマンスに関する包括的な洞察を提供し、改善すべき領域を特定し、運用を最適化できるようにします。

Observability Dashboard のデータは 1 年間保存されます。 この保存期間は、製品のアップデートに応じて将来変更される可能性があります。

Copilot

Observability DashboardCopilotに関する情報は、生成応答、Copilot for Agentsクエリ、およびAutoSummaryの情報を提供します。

  1. アプリセレクター をクリックし、[データと分析] に移動して [Actions] を選択します。

  2. Actionsで、[オブザーバビリティダッシュボード]をクリックします。

    デフォルトでは、Copilotダッシュボードが表示されます。 これには、次の 3 つのグラフが含まれています。

  3. 必要に応じて、ダッシュボードの日付範囲を更新し、チャネルでインタラクションタイプを選択します。 音声インタラクション、チャットインタラクション、またはすべての詳細を表示することを選択します。

  4. クエリーを実行をクリックします。 3つのグラフが更新され、希望の日付とチャネルが反映されます。

生成型応答に関するデータの表示

生成応答は、通話中に自動的に生成される応答です。

  1. 生成型応答 ラベルをクリックして、統計にドリルダウンします。 次の 3 つのグラフが表示されます。

    • 時間推移:使用、変更、無視、または回答に至らなかった回答の割合を時系列で表示します。

    • カテゴリー別:カテゴリ別に詳細を表示します。

    • インタラクションあたりの平均Kb:1日あたりのナレッジベースインタラクションの平均数を示します。

  2. グラフに表示されるデータをカスタマイズできます。

    • 時間推移グラフとカテゴリーグラフでは、凡例をクリックすることで、さまざまな回答ステータスの表示を切り替えることができます。

    • 時間推移グラフとカテゴリグラフで、絶対数 またはパーセンテージ toをクリックして、パーセンテージと絶対数を切り替えます。

    • 3つのグラフすべてで最大化をクリックして、データを表形式で表示します。

  3. 下にスクロールして、カテゴリー別にグループ化されたデータを確認します。 カテゴリービューは、知識ベースの回答をさまざまなカテゴリーに整理し、構造化された分析アプローチを提供します。 各カテゴリは以下を示します：

    • エージェント名

    • チーム

    • スキル

    • 知識ベースの回答の合計数

    • 平均順守スコア

    • 提供されたリンクと画像の平均数

    • 平均知識スコア（知識ベースによって割り当てられたスコア）

  4. カテゴリをクリックすると、次のような特定のクエリとその詳細が表示されます。

    • 知識ベースに送信されたクエリ

    • 知識ベースの回答の推奨事項

    • エージェントの実際の応答

    • 提供されたリンクと画像の数

    • クエリーに対するフィードバック

    • 遵守スコア（提案された応答と実際の応答の類似度）

    • インタラクションの開始からのオフセット

    クエリごとに、次のことができます。

    • インタラクションを再生する をクリックしてインタラクションの音声を聞きます(利用可能な場合)。

    • クエリの横にある情報ボタンをクリックします。 インタラクションのクエリフィードバックを表示できます。 右側の応答の詳細パネルでは、AIが生成した応答が肯定的否定的なフィードバックを受け取ったかどうかを、提供されたコメントやタグとともに確認できます。

  5. このデータの表示方法を切り替えることができます。 デフォルトのビューはカテゴリ別です。 グループ化をクリックして、グループ化をカテゴリから次のいずれかに変更します。

    • マスターコンタクト

    • チーム

    • スキル

    • エージェント名

    新しいグループ化に基づいてデータが再表示されます。

エージェントのクエリーに関するデータの表示

エージェントクエリには、エージェントの質問に基づいてオンデマンドで生成されたナレッジベースの回答に関する情報が表示されます。 直接クエリの状態と遵守スコアを示すグラフを提供します。

  1. グラフの見出し エージェント クエリ をクリックして、統計をドリルダウンします。 最初のグラフは、時間推移における回答と無回答の割合を示しています。 2つ目のグラフは、カテゴリーの詳細を示しています。

  2. 凡例をクリックすると、さまざまな回答ステータスの表示を切り替えることができます。

  3. 絶対数 またはパーセンテージ をクリックして、パーセンテージと絶対数を切り替えます。

  4. 最大化 をクリックするとグラフが全画面で表示されます。

  5. 下にスクロールすると、カテゴリー別に分類されたデータを確認できます。 カテゴリービューは、知識ベースの回答をさまざまなカテゴリーに整理し、構造化された分析アプローチを提供します。 各カテゴリーについて次の情報が表示されます。

    • 総レスポンスの数

    • 無応答の数と平均

    • 提供されたリンクとイメージの平均数

    • 平均ナレッジスコア(知識ベースによって割り当てられたスコア)

  6. カテゴリーをクリックすると、具体的なクエリーと次のような詳細が表示されます：

    • エージェントのクエリが知識ベースに送信されました

    • エージェントのクエリへの応答

    • 提供されたリンクとイメージの数

    • 応答の日時

    • 平均知識スコア

AutoSummaryクエリに関するデータの表示

AutoSummaryは、パフォーマンスの概要を包括的に表示します。 インテントとスキル別にグループ化されたデータで、パフォーマンスの推移を時系列で追跡するグラフを確認できます。 詳細なテーブルには、実際のサマリーと並んで推奨されるサマリーが表示され、精度を図るための遵守スコアも付いています。 より包括的な詳細については、特定のインタラクションを再生して、実際の会話でサマリがどのように生成され、使用されているかの全体像を把握することができます。

自動生成されたサマリーは、CXoneObservability DashboardクライアントとCXone非ACDクライアントの両方でACDでサポートされています。

  1. グラフの見出しAutoSummaryをクリックして、統計をドリルダウンします。

    • 最初のグラフは、時間の経過と共に使用された要約の割合を示しています。 要約は、現状のまま、改訂済み、軽微な修正あり、無視のいずれかの方法で使用されていると識別されます。

    • 2番目のグラフには、インテント別の詳細が表示されます。

    • 3番目のグラフには、スキル別の詳細が表示されます。

    • 4番目のグラフには、チーム別の詳細が表示されます。

    凡例をクリックすると、さまざまな回答ステータスの表示を切り替えることができます。

  2. 絶対数 またはパーセンテージ をクリックして、パーセンテージと絶対数を切り替えます。

  3. 最大化 をクリックするとグラフが全画面で表示されます。

  4. 下にスクロールすると、カテゴリー別に分類されたデータを確認できます。 カテゴリービューは、知識ベースの回答をさまざまなカテゴリーに整理し、構造化された分析アプローチを提供します。 各カテゴリーについて次の情報が表示されます。

    • エージェント名

    • 総レスポンスの数

    • 無応答の数と平均

    • 提供されたリンクとイメージの平均数

    • 平均ナレッジスコア(知識ベースによって割り当てられたスコア)

  5. カテゴリーをクリックすると、具体的なクエリーと次のような詳細が表示されます：

    ナレッジベースに送信されるエージェントクエリ

    • エージェントのクエリへの応答

    • 全体のフィードバック

    • 提供されたリンクとイメージの数

    • 応答の日時

    • 平均知識スコア

    • 順守スコア

  6. AutoSummaryでは、順守スコアはLLMによって次のアプローチを使用して決定されます

    • LLMは、正確な文言ではなく、テキストの意味を比較します。

    • 実際の要約テキストと提案された要約テキストの意味が同じ場合、スコアは高くなります。

    • 提案されたサマリーに、実際のサマリーにないマイナーな改訂など、追加の詳細が含まれている場合、スコアは中程度

    • 提案されたサマリーと実際のサマリーテキストのコンテキストが異なる場合、スコアは低くなります。

    • 実際のサマリーがない場合、たとえば、ユーザーがサマリーを物理的に保存していない場合、スコアは与えられず、エージェントによって保存されていないサマリーとしてマークされます。

  7. クエリの横にある情報ボタンをクリックします。 インタラクションの全体的なフィードバックを表示できます。 右側の応答の詳細パネルでは、インタラクションが肯定的否定的なフィードバックを受け取ったかどうかを、提供されたコメントやタグとともに確認できます。

CXリーダーであるMarkは、このObservability Dashboardを使用して、ナレッジベース内の知識のギャップを特定したいと考えています。 彼は、多くの知識ベースの提案が修正されたり無視されたりしていることに気づきました。 マークは、[知識ベースの回答]をクリックし、カテゴリー別にデータを表示します。 彼は、提案と実際の対応との間にズレがあることを示す、平均遵守スコアが低いカテゴリーに注目しています。 マークは、「請求と支払い」のようなスコアの低いカテゴリーを拡大することで、支払いプランや返金ポリシーに関するクエリーの遵守率が低く、これらの分野におけるナレッジギャップを示唆していることを確認します。

Observability Dashboardを通じて、マークは知識ベースの拡張が必要なトピックを特定できます。 その後、ナレッジベースチームと協力してこれらのギャップに対処し、顧客とのやり取りを改善するための提案の質を向上させることができます。

ビジネス・インパクト・ビュー

ビジネスインパクトビューは、Copilotダッシュボード内の動的パネルで、エージェントのアクティビティの影響を受ける主要なパフォーマンスメトリックを統合ビューで表示します。 アフターコールワーク(ACWクローズ済 対話の終了後にエージェントが作業要件を完了できるようにする状態。)や平均処理時間(AHTクローズ済 平均対応時間は、エージェントがインタラクションの処理に費やした平均時間です。)エージェントパフォーマンス指標などの運用傾向に関する視覚的な洞察を提供します。 このメニューを展開すると、月次トレンドを分析したり、フィルターを適用して特定のチーム、スキル、またはエージェントに焦点を当てたり、選択したカテゴリのパフォーマンス平均を比較したりできます。 ビジネスへの影響ビューの日付範囲とフィルターオプションは、Observability Dashboardの日付範囲とフィルターオプションとは独立しています。

  1. ビジネス・インパクトメニューを開くには、Copilotダッシュボードの下部にある上向き矢印をクリックします。 このアクションにより、下部パネルが展開され、詳細なパフォーマンス メトリックが表示されます。

  2. ダッシュボードの上部で、ダッシュボードの日付範囲を更新して、ACWおよびAHTデータを表示する期間を定義します。 過去 2 日間、過去 7 日間当月などのプリセット オプションから選択またはカスタム範囲を設定できます。 デフォルトでは、日付範囲はダッシュボードで定義されている範囲と同じCopilotです。 選択すると、グラフが自動的に更新され、その範囲内の各月の平均ACWとAHTの期間が表示されます。

  3. フィルター条件オプションを使用して、Teams、スキル、またはエージェント名に基づいてデータを絞り込みます。 フィルタータイプごとに最大5つの値を選択できます。 たとえば、5つのチーム、5つのスキル、または5つのエージェント名を選択します。 フィルターを適用して、異なるグループまたは個人のパフォーマンスを比較します。

  4. ACWおよびAHTグラフからフィルターカテゴリを削除するには、選択したチーム名、スキル名、またはエージェント名の横にあるXアイコンをクリックします。 削除すると、グラフは自動的に更新され、そのカテゴリはビジュアライゼーションから除外されます。

  5. ダッシュボードのメトリックすべてのスキル平均、すべてのチーム平均、およびすべてのエージェント名平均 適用したフィルターに基づいて動的に表示されます。 スキルでフィルタリングすると、グラフにはすべてのスキル平均が表示されます 行を選択すると、選択したスキルグループの平均ACWとAHTの継続時間が表示されます。 同様に、チームまたはエージェント名でフィルタリングすると、すべてのチーム平均と表示されます またはすべてのエージェント名平均 それぞれ。

  6. グラフの解釈:

    • 上向きトレンド:時間の増加を示します。 ACWの場合、エージェントは通話後のタスクにより多くの時間を費やしています。 AHTの場合、通話の処理に時間がかかります。

    • 下向きトレンド:時間の短縮を示します。 ACWの場合、エージェントは通話後の作業をより迅速に完了できます。 AHTでは、通話がより効率的に処理されています。

    • 突然のスパイクまたはドロップ: ワークロード、プロセス、またはツールの使用状況の変化を示している可能性があります。 原因を理解するために、これらを確認する必要があります。

ACWデータの表示

ACW(アフターコールワーク)グラフは、エージェントが毎月コール後のタスクに費やした時間を追跡するのに役立ち、すべてのコールの平均時間を表示します。 ACWとは、エージェントが顧客との通話を終了した後、メモの作成、システムの更新、インタラクションのタグ付けなどのタスクを完了するのに費やす時間を指します。 平均ACW時間は、すべてのコールの合計ACW時間を、選択した期間中に処理されたコールの数で割ることによって計算されます。

平均ACW = すべての通話の合計ACW時間 / 通話数

このグラフを使用すると、チーム、スキル、個々のエージェントのパフォーマンスを比較し、ワークロードのパターンや異常な変化を特定し、情報に基づいた意思決定を行うことができます。 さらに、特定のチーム、スキル、またはエージェントのACWが時間の経過とともに増加または減少しているかどうかを示すのに役立ちます。 たとえば、上昇線は通話後の作業負荷の増加を示している可能性があり、下降傾向は効率の向上やプロセスの変更を示唆している可能性があります。

ACWグラフは折れ線グラフとして表示され、X軸は選択した日付範囲に基づく月間隔の時間を表し、Y軸は平均ACW期間を示し、通常は秒または分で測定されます。 グラフ上の各データポイントは、その特定の月の平均ACWを反映しています。 グラフには、正確な値を表示するためのホバー、適用されたフィルターと日付範囲に基づく動的更新、簡単に参照できるように選択したフィルターを表示する凡例などのインタラクティブな機能が含まれています。

AHTデータの表示

AHT(平均処理時間)グラフは、エージェントが毎月顧客とのやり取りに費やす時間を追跡するのに役立ち、すべての通話の平均時間を表示します。 AHTには、通話時間、保留時間、アフターコールワーク(ACW)などのインタラクション時間全体が含まれます。 平均AHT期間は、すべてのコールの合計処理時間を、選択した期間中に処理されたコールの数で割ることによって計算されます。

平均AHT=すべての通話の合計処理時間/通話数

このグラフでは、チーム、スキル、個々のエージェントのパフォーマンスを比較し、インタラクション時間のパターンや異常な変化を特定できます。 AHTグラフのトレンドは、特定のチーム、スキル、またはエージェントの時間の経過に伴うAHTの増減を特定するのに役立ちます。 たとえば、上昇線は複雑さや非効率性により顧客とのやり取りが長くなったことを示している可能性がありますが、下降傾向はプロセスの合理化、エージェントのパフォーマンスの向上、またはシステム サポートの向上を示唆している可能性があります。

AHTグラフは折れ線グラフとして表示され、X軸は選択した日付範囲に基づく月間隔の時間を表し、Y軸は平均AHT期間を示し、通常は秒または分で測定されます。 グラフ上の各データポイントは、その特定の月の平均AHTを反映しています。 グラフには、正確な値を表示するためのホバー、適用されたフィルターと日付範囲に基づく動的更新、簡単に参照できるように選択したフィルターを表示する凡例などのインタラクティブな機能が含まれています。

このObservability Dashboardは、Engagement Hubの新しいCopilot機能をサポートしており、さまざまなクライアントタイプにわたる機能のパフォーマンスを監視できます。

  • CXoneACDクライアントの場合:自動生成されたサマリー、チームの詳細、スキル情報のデータが表示されます。

  • CXone以外のACDクライアントの場合:チームおよびスキルデータは利用できず、関連する機能は非表示になります。

  • ACDアプリケーションと非ACDアプリケーションの両方を使用しているテナントの場合:ダッシュボードにはACD関連のデータのみが表示されます。

Autopilot Knowledge

Observability DashboardAutopilot Knowledgeには、自動化されたシステムが顧客の質問をどの程度うまく処理しているかに関するデータが表示されます。 パフォーマンスの推移を時系列で表示するグラフが表示されます。 これにより、毎日、毎週、または毎月の変更を追跡できます。

  1. アプリセレクター をクリックして、Actionsを選択します。

  2. Actionsで、[Observability Dashboard] をクリックします。

  3. Autopilot Knowledgeタブをクリックします。 ダッシュボードに必要な日付範囲を設定し、クエリーを実行をクリックします。 次の 3 つのグラフが表示されます。

全体的な効果に関するデータの表示

このグラフには、Autopilot Knowledgeチャットボットのパフォーマンスとステータスの概要が表示されます。

  1. 全体的な効果グラフの見出しをクリックして、統計をドリルダウンします。 次の 4 つのグラフが表示されます。

    • エンゲージ:チャットボットとエンゲージした訪問者の数を表示し、エンゲージメントの経時的な傾向を理解するのに役立ちます。

    • 包含:ライブエージェントへのエスカレーションを必要とせずに会話を完了したチャットボットユーザーの割合と数を表示します。 このメトリックを使用すると、チャットボットがクエリを個別に解決する効果を評価できます。

    • 昇格:会話をライブエージェントにエスカレーションしたチャットボットユーザーの割合と数を表示し、人間の介入が必要なケースを強調表示します。 このメトリックを使用すると、チャットボットが会話を人間のエージェントに引き継ぐ頻度を監視できます。

    • 放棄:進行中の会話を放棄したチャットボットユーザーの割合と数を表示します。 この指標により、離脱ポイントを特定し、ユーザーエンゲージメントを向上させることができます。

  2. グラフに表示されるデータをカスタマイズできます。

    • 絶対数 またはパーセンテージ をクリックして、パーセンテージと絶対数を切り替えます。

    • グラフを全画面で表示するには、最大化をクリックします。

GenAIパフォーマンスに関するデータの表示

このグラフは、生成AIエンジンによって効果的に対処されたユーザークエリの割合を表示します。

  1. GenAIパフォーマンスラベルをクリックして、統計にドリルダウンします。 次の 3 つのグラフが表示されます。

    • 推移:チャットボットの応答の割合を時系列で表示します。

    • カテゴリー別:カテゴリ別のチャットボットの応答の割合を表示します。

    • 生成モデルへのクエリ:生成エンジンによって処理されたチャットボットクエリの総数と割合を表示します。 このメトリックは、ユーザーインタラクションの処理に生成エンジンがどのくらいの頻度で利用されているかについての洞察を提供します。

  2. グラフに表示されるデータをカスタマイズできます。

    • 時間経過グラフとカテゴリグラフで、異なる回答ステータスの表示を切り替えるには、グラフの回答または応答なしの凡例をクリックします。

    • 絶対数 またはパーセンテージ をクリックして、パーセンテージと絶対数を切り替えます。

    • 最大化 をクリックすると、グラフが全画面表示されます。

  3. 下にスクロールして、カテゴリー別にグループ化されたデータを確認します。 カテゴリービューは、知識ベースの回答をさまざまなカテゴリーに整理し、構造化された分析アプローチを提供します。 各カテゴリは以下を示します：

    • 回答総量

    • 無回答の総数

    • 提供されたリンクと画像の平均数

    • 平均知識スコア（知識ベースによって割り当てられたスコア）

  4. カテゴリをクリックすると、次のような特定のクエリとその詳細が表示されます。

    • インタラクションの連絡先番号

    • チャットボットとの対話を開始したクエリ

    • ユーザーの入力、意図、およびコンテキストに基づくチャットボットの返信。

    • 提供されたリンクと画像の数

    • 回答の日時

    • 平均知識スコア。

  5. このデータの表示方法を切り替えることができます。 デフォルトのビューはカテゴリ別です。 グループ化基準をクリックして、グループ化をカテゴリーからコンタクト番号に変更します。 新しいグループ化に基づいてデータが再表示されます。

ボットのパフォーマンスに関するデータの表示

このグラフは、チャットボットのインテントの分布を表示し、最も一般的なユーザーリクエストの上位6つとフォールバックの発生を強調表示します。 これは、ユーザーが何を尋ね、チャットボットがどのように応答するかを理解するのに役立ちます。

  1. ボットのパフォーマンス ラベルをクリックして、統計にドリルダウンします。 2つのグラフが表示されます。

    • すべてのボットインテント:最も一般的なユーザーリクエストとフォールバックケースを表示し、チャットボットの応答方法を改善するのに役立ちます。

    • 放棄インジケーター:ユーザーが会話を放棄する前に、どのチャットボットのインテントが最も一般的だったかを表示します。 離脱ポイントを特定し、ユーザーのリテンションを向上させるのに役立ちます。

  2. グラフに表示されるデータをカスタマイズできます。

    • 絶対数 またはパーセンテージ をクリックして、パーセンテージと絶対数を切り替えます。

    • 最大化 をクリックすると、グラフが全画面表示されます。

Autopilot

Observability DashboardAutopilotは、ナレッジベースが顧客の質問にどれだけうまく対応できるかを示します。 このダッシュボードを使用して、ナレッジベースに記事を追加したり、記事をカスタマイズして顧客の質問に的確に回答したりできる領域を探します。

  1. アプリセレクター をクリックして、Actionsを選択します。

  2. Actionsで、[Observability Dashboard] をクリックします。

  3. Autopilotタブをクリックします。 GenAIパフォーマンスグラフが表示されます。

  4. ダッシュボードに必要な日付範囲を設定し、クエリーを実行をクリックします。

GenAIパフォーマンスに関するデータの表示

このグラフは、AIエンジンから関連性のある完全な回答を受け取ったユーザーの質問の数を示しています。

  1. GenAIパフォーマンスラベルをクリックすると、指定した期間に寄せられた質問と提供された記事の詳細が表示されます。

    2つのグラフが表示されます。

    • Over Time graph:一定期間における成功した応答と無応答の数を表示します。 応答は、ユーザーに記事が表示されたことを示します。 応答がない場合は、一致する記事が見つからなかったことを示します。

    • カテゴリー別グラフ:カテゴリ別の成功した応答と無応答の数を表示します。

    グラフ内のデータの外観をカスタマイズできます。

    • パーセンテージと絶対数を切り替えるには、絶対数 またはパーセンテージ をクリックします。

    • グラフを全画面で表示するには、最大化 をクリックします。

    • 異なる回答ステータスの表示を切り替えるには、グラフの回答または応答なしの凡例をクリックします。

  2. グラフの下を下にスクロールすると、クエリの詳細を示すテーブルが表示されます。 クエリはカテゴリ別にグループ化されます。

  3. カテゴリをクリックすると、特定のクエリと提供された応答が表示されます。 これを使用して、ナレッジベースで記事が不足している可能性のある領域を特定します。

AIを活用したナレッジ記事の生成

  1. アプリセレクター をクリックして、Actionsを選択します。

  2. Actionsで、[Observability Dashboard] をクリックします。

  3. 生成応答ラベルをクリックして、詳細な統計を表示します。

  4. カテゴリ別にグループ化されたデータセクションまで下にスクロールします。 カテゴリをクリックすると、特定のクエリが表示されます。

  5. クエリを選択し、[Info ボタンをクリックします。

  6. 右側の応答の詳細パネルで、記事の作成をクリックします。 AIが生成した記事は、トランスクリプトに基づいて作成されます。 必要に応じて記事を編集し、公開できます。

    記事の編集と公開の詳細については、ナレッジ生成のヘルプを参照してください。

  7. 記事がすでに公開されている場合は、記事の作成アイコンが紫色にチェックマーク付きで表示されます。 これは、サポート情報記事が利用可能であり、他のユーザーが作成した場合でも閲覧できることを意味します。

Observability Dashboardからのデータエクスポート

  1. アプリセレクター をクリックして、Actionsを選択します。

  2. Actionsで、[Observability Dashboard] をクリックします。

  3. 生成応答ラベルをクリックして、詳細な統計を表示します。

  4. カテゴリ別にグループ化されたデータセクションまで下にスクロールします。 エクスポートをクリックします。 クエリビルダーで設定されたフィルターに基づいて、表示と非表示の両方のすべてのデータをダウンロードできます。

  5. Observability Dashboardからデータをエクスポートすると、スプレッドシートの一部のフィールドが数値コードで表されます。 これらのコードは、次に示すように、特定のタグとフィードバックの種類に対応しています。

    タグ

    値
    正確 1
    不正確 2

    完了

    		3
    未完了 4
    関連性あり 5
    無関係 6
    遅い 7
    その他 8

    フィードバックの種類

    値
    ポジティブ 1
    ネガティブ 2