Observability Dashboard

Observability Dashboard允許您仔細檢查Copilot、Autopilot Knowledge和Autopilot所採用的 AI 功能。 儀錶板提供了對生成回應性能的全面洞察，使您能夠確定需要改進的領域並優化運營。

Observability Dashboard中的資料將保留一年。 此保留期將來可能會根據產品更新而變更。

Copilot

Observability DashboardCopilot提供有關生成回應、Copilot for Agents查詢和AutoSummary的資訊。

  1. 點擊應用程式選擇器，前往資料與分析並選擇Actions。

  2. 在Actions上，點擊可觀察性控制面板。

    默認情況下，將顯示Copilot儀錶板。 它包含三個圖表：

  3. 如果需要，請更新控制面板的日期範圍，並在通道中選擇互動類型。 選擇查看語音互動、聊天互動或全部的詳細資訊。

  4. 點擊執行查詢。 這三個圖表將更新以反映您想要的日期和頻道。

檢視資料 關於產生回應

生成回應是在通話過程中自動生成的應答。

  1. 點擊 產生回應 標籤可向下鑽取統計資訊。 出現三個圖形：

    • 依據期間：顯示一段時間內被使用、修改、忽略或導致沒有答案的答案的百分比。

    • 依據類別：按類別顯示詳細資訊。

    • 每次互動的平均 Kb ：顯示每天平均知識庫互動次數。

  2. 您可以自訂圖表中顯示的資料：

    • 在依據期間和類別圖中，您可以通過單擊圖例來切換不同答案狀態的顯示。

    • 在依據期間和類別圖表中，點擊絕對數位 或百分比 在百分比和絕對數位之間切換。

    • 在所有三個圖表中，按兩下最大化以表格格式查看資料。

  3. 向下捲動以查看按類別分組的資料。 類別試圖可將知識庫答案組織為不同類別，提供結構化的分析方法。 每個類別都有：

    • 客服專員名稱

    • 團隊

    • 技能

    • 知識庫答案總數

    • 平均依從性分數

    • 平均提供的連結和圖像數量

    • 平均知識分數（知識庫指派的分數）

  4. 點擊一個類別，可以顯示特定的查詢及其詳細資訊，例如：

    • 傳送到知識庫的查詢

    • 建議的知識庫答案

    • 客服專員的實際回應

    • 提供的連結和圖像數量

    • 查詢回饋

    • 依從性分數（建議和實際回應之間的相似性）

    • 從互動開始偏移

    對於每個查詢，您可以：

    • 點擊播放互動 收聽互動的音訊（如果可用）。

    • 點擊查詢旁邊的資訊 按鈕。 您可以檢視互動的查詢回饋。 在右側的回應詳細資訊面板中，您可以查看 AI 產生的回應是收到了正面還是負面反饋，以及提供的任何評論和標記。

  5. 您可以切換檢視此資料的方式。 默認檢視是按類別。 單擊分組依據將分組從類別更改為以下分組之一：

    • 主聯絡

    • 團隊

    • 技能

    • 客服專員名稱

    數據將根據新的分組重新顯示。

檢視資料 關於客服專員查詢

客服專員查詢顯示有關根據客服專員問題按需生成的知識庫答案的資訊。 它提供了顯示直接查詢狀態和依從性分數的圖表。

  1. 點擊圖表標題 客服專員 查詢 以向下鑽取統計資訊。 第一個圖顯示了特定時段回應和無回應的百分比。 第二個圖表顯示隨類別變化的詳細資訊。

  2. 您可以通過單擊圖例來切換不同答案狀態的顯示。

  3. 點擊絕對數字 或百分比 可以在百分比和絕對數字之間切換。

  4. 點擊最大化 到全屏查看圖表。

  5. 向下捲動以查看依類別分類的資料。 類別試圖可將知識庫答案組織為不同類別，提供結構化的分析方法。 每個類別都會顯示：

    • 回應總數

    • 無回應的數量和平均值

    • 所提供連結與圖像的平均數量

    • 平均知識分數（由知識庫指定的分數）

  6. 點擊類別可顯示特定查詢及其詳細資訊，例如：

    • 客服專員查詢傳送到知識庫

    • 對客服專員查詢的回應

    • 提供的連結和圖像數量

    • 回應的日期和時間

    • 平均知識分數

查看有關AutoSummary查詢的數據

AutoSummary提供了摘要績效的全面視圖。 您可以看到隨時間追踪績效的圖表，以及按意圖和技能分組的資料。 詳細的表格顯示了建議的摘要和實際摘要，並附有對測量準確度的依從性分數。 有關更全面的詳細資訊，您可以重播特定的交互，這將使您全面瞭解如何在實際對話中生成和使用摘要。

Observability Dashboard中支援CXoneACD和CXone非ACD用戶端的自動產生摘要。

  1. 點擊圖表標題AutoSummary，深入了解統計資料。

    • 第一個圖表顯示了一段時間內使用的摘要的百分比。 摘要被標識為以下列方式之一使用：按原樣、已修訂、次要修訂和忽略。

    • 第二個圖顯示詳細資訊依據意圖。

    • 第三個圖顯示了依據技能的詳細資訊。

    • 第四張圖顯示了依據團隊的詳細資訊。

    您可以通過單擊圖例來切換不同答案狀態的顯示。

  2. 點擊絕對數字 或百分比 可以在百分比和絕對數字之間切換。

  3. 點擊最大化 到全屏查看圖表。

  4. 向下捲動以查看依類別分類的資料。 類別試圖可將知識庫答案組織為不同類別，提供結構化的分析方法。 每個類別都會顯示：

    • 客服專員名稱

    • 回應總數

    • 無回應的數量和平均值

    • 所提供連結與圖像的平均數量

    • 平均知識分數（由知識庫指定的分數）

  5. 點擊類別可顯示特定查詢及其詳細資訊，例如：

    • 發送到知識庫的客服專員查詢

    • 對客服專員查詢的回應

    • 整體回饋

    • 提供的連結和圖像數量

    • 回應的日期和時間

    • 平均知識分數

    • 依從性分數

  6. 在AutoSummary中，依從性分數由 LLM 使用以下方法確定：

    • LLM 比較文字的含義，而不是確切的措辭。

    • 如果實際摘要和建議的摘要文字在含義上相同，則分數較高。

    • 如果建議的摘要包含其他細節，例如實際摘要中沒有的細微修訂，則分數為中等

    • 如果建議的摘要和實際的摘要文字具有不同的上下文，則分數較低。

    • 如果沒有實際摘要，例如使用者沒有實際儲存摘要，則不會給出任何分數，並且會標記為客服專員未儲存摘要。

  7. 點擊查詢旁邊的資訊 按鈕。 您可以檢視互動的整體回饋。 在右側的回應詳細資訊面板中，您可以查看互動是收到了正面還是負面反饋，以及提供的任何評論和標記。

作為客戶體驗領導者，Mark 希望利用Observability Dashboard來識別知識庫中的知識差距。 他注意到許多知識庫建議被修改或忽略。 Mark 點擊知識庫答案以按類別查看資料。 他將重點放在平均依從性分數較低的類別上，這表示建議與實際回應之間的不一致。 透過擴展低分數類別（例如「帳單與付款」），Mark 可以看到有關付款計劃和退款原則的查詢依從性偏低，這表示在這些領域存在知識缺口。

通過Observability Dashboard，Mark 可以查明需要增強知識庫的主題。 然後，他可以與知識庫團隊合作解決這些差距，提高建議的品質，從而更好地與客戶互動。

業務影響檢視

業務影響視圖是Copilot控制面板中的一個動態面板，提供受客服專員活動影響的關鍵績效指標的綜合視圖。 它提供了對運營趨勢的直觀洞察，例如通話後工作 （ACW關閉 允許客服專員在完成互動後完成工作要求的狀態。） 和平均處理時間 （AHT關閉 平均處理時間是客服專員處理互動所花費的平均時間。） 客服專員績效指標。 透過展開此選單，您可以分析每月趨勢，套用篩選器來關注特定團隊、技能或客服專員，並比較所選類別的平均績效。 業務影響視圖中的日期範圍和篩選器選項獨立於Observability Dashboard中的日期範圍和篩選器選項。

  1. 若要開啟業務影響選單，請點擊位於 Copilot 儀表板底部的向上箭頭。 此動作會展開底部面板，顯示詳細的效能指標，即

  2. 在控制面板頂部，更新控制面板日期範圍以定義您要檢視 ACW 和 AHT 資料的期間。 您可以從預設選項中進行選擇例如最近 2 天、過去 7 天、當月或設定自訂範圍。 預設情況下，日期範圍與控制面板中定義Copilot範圍相同。 選擇後，圖表會自動更新，顯示該範圍內每個月的平均 ACW 和 AHT 持續時間。

  3. 使用篩選依據選項可根據團隊、技能或客服專員名稱縮小資料範圍。 每種篩選器類型最多可以選擇 5 個值。 例如，選擇 5 個團隊、5 個技能或 5 個客服專員名稱。 套用篩選器來比較不同群體或個人的表現。

  4. 若要從 ACW 和 AHT 圖表中刪除篩選器類別，請點擊所選團隊、技能或客服專員名稱旁邊的 X 圖示。 刪除後，圖表會自動更新，以從視覺化中排除該類別。

  5. 在控制面板中，指標所有技能平均、所有團隊平均和所有客服專員名稱平均 根據您套用的篩選器動態顯示。 按技能篩選時，圖表顯示全部技能平均 行以顯示所選技能組的平均 ACW 和 AHT 持續時間。 同樣，按團隊或客服專員名稱篩選將顯示所有團隊平均 或所有客服專員姓名平均 各自地。

  6. 解釋圖表：

    • 上升趨勢：表示時間增加。 對於 ACW，客服專員將更多時間花在通話後任務上。 對於 AHT，處理呼叫需要更長的時間。

    • 下降趨勢：表示時間減少。 對於 ACW，客服專員可以更快地完成通話後工作。 對於 AHT，呼叫的處理效率更高。

    • 突然尖峰或下降：可能預示著工作量、流程或工具使用情況的變化。 應審查這些以了解原因。

檢視 ACW 資料

ACW（通話後工作）圖表有助於追蹤客服專員每月在通話後任務上花費的時間，顯示所有通話的平均持續時間。 ACW 是指客服專員在結束客戶通話後完成任務所花費的時間，例如寫筆記、更新系統或標記互動。 平均 ACW 持續時間的計算方法是將所有呼叫的總 ACW 時間除以所選時段內處理的呼叫數量：

平均 ACW = 所有呼叫的總 ACW 時間 / 呼叫次數

此圖表可讓您比較團隊、技能和單個客服專員之間的績效，識別工作量的模式或異常變化，並做出明智的決策。 此外，它還有助於指示特定團隊、技能或客服專員的 ACW 隨時間推移是增加還是減少。 例如，上升線可能表示通話後工作量增加，而下降趨勢可能表示效率提高或流程發生變化。

ACW 圖以折線圖的形式呈現，其中 X 軸表示基於所選日期範圍的每月間隔時間，Y 軸顯示平均 ACW 持續時間，通常以秒或分鐘為單位。 圖表上的每個資料點都反映了該特定月份的平均 ACW。 此圖表包括互動式功能，例如懸停以檢視精確值、基於套用的篩選器和日期範圍的動態更新，以及顯示所選篩選器以便於參考的圖例。

檢視 AHT 資料

AHT（平均處理時間）圖表有助於追蹤客服專員每月處理客戶互動所花費的時間，顯示所有呼叫的平均持續時間。 AHT 包括整個互動時間，例如通話時間、保持時間和通話後工作 （ACW）。 平均 AHT 持續時間的計算方法是將所有呼叫的總處理時間除以所選時間段內處理的呼叫數：

平均 AHT=所有呼叫的總處理時間 / 呼叫數量

此圖表可讓您比較團隊、技能和單個客服專員之間的績效，識別互動持續時間的模式或異常變化。 AHT 圖表中的趨勢可以幫助識別特定團隊、技能或客服專員的 AHT 隨時間的增加或減少。 例如，上升線可能表示由於複雜性或低效率而導致客戶互動時間更長，而下降趨勢可能表示流程簡化、客服專員績效提高或系統支援更好。

AHT 圖以折線圖的形式呈現，其中 X 軸表示基於所選日期範圍的每月間隔時間，Y 軸顯示平均 AHT 持續時間，通常以秒或分鐘為單位。 圖表上的每個資料點都反映了該特定月份的平均 AHT。 此圖表包括互動式功能，例如懸停以檢視精確值、基於套用的篩選器和日期範圍的動態更新，以及顯示所選篩選器以便於參考的圖例。

此Observability Dashboard支援 Engagement Hub 的新Copilot功能，可讓您監控不同用戶端類型的功能效能。

  • 對於CXoneACD客戶：您會看到自動產生的摘要、團隊詳細資訊和技能資訊的資料。

  • 對於非CXoneACD客戶：團隊和技能資料不可用，相關功能被隱藏。

  • 對於同時使用ACD和非ACD應用程式的租戶：控制面板僅顯示與ACD相關的資料。

Autopilot Knowledge

Observability DashboardAutopilot Knowledge顯示有關自動化系統處理客戶問題的能力的數據。 您會看到一個顯示一段時間內表現趨勢的圖表。 可讓您每日、每週或每月追踪變更。

  1. 點擊應用程式選擇器並選擇Actions。

  2. 在Actions，點擊Observability Dashboard。

  3. 點擊 Autopilot Knowledge 標籤。 為儀錶板設置所需的日期範圍，然後按兩下運行查詢。 它顯示三個圖表：

檢視資料 關於整體有效性

此圖顯示了聊天機器人性能和狀態的高級摘要Autopilot Knowledge。

  1. 點擊 整體有效性 圖表標題以向下鑽取統計資訊。 出現四個圖表：

    • 參與度：顯示與聊天機器人互動的訪客數量，説明您了解一段時間內的參與趨勢。

    • 包含：顯示無需上報至真人客服專員即可完成對話的聊天機器人使用者的百分比和計數。 通過此指標，您可以評估聊天機器人獨立解決查詢的效率。

    • 提升：顯示將對話升級到即時客服專員的聊天機器人使用者的百分比和數量，突出顯示需要人工干預的案例。 使用此指標，您可以監控聊天機器人將對話移交給人工代理的頻率。

    • 已放棄：顯示放棄正在進行的對話的聊天機器人使用者的百分比和數量。 使用此指標，您可以確定下降點並提高用戶參與度。

  2. 您可以自訂圖表中顯示的資料：

    • 點擊絕對數字 或百分比 在百分比和絕對數字之間切換。

    • 點擊最大限度 以全螢幕檢視圖表。

檢視有關GenAI效能的資料

此圖顯示了生成 AI 引擎有效處理的用戶查詢的百分比。

  1. 點擊GenAI績效標籤可深入了解統計資訊。 出現三個圖形：

    • 隨時間變化：顯示聊天機器人回應隨時間變化的百分比。

    • 依據類別：顯示聊天機器人回應在類別中的百分比。

    • 查詢生成模型：顯示生成引擎處理的聊天機器人查詢的總數和百分比。 此指標提供了有關生成引擎在處理使用者交互中的使用頻率的見解。

  2. 您可以自訂圖表中顯示的資料：

    • 在「隨時間變化」和「類別」圖表中，要切換不同答案狀態的顯示，請按兩下圖表中的回應或無回應圖例。

    • 點擊絕對數字 或百分比 在百分比和絕對數字之間切換。

    • 按兩下最大化以全屏查看圖形。

  3. 向下捲動以查看按類別分組的資料。 類別試圖可將知識庫答案組織為不同類別，提供結構化的分析方法。 每個類別都有：

    • 回應總數

    • 無回應總數

    • 平均提供的連結和圖像數量

    • 平均知識分數（知識庫指派的分數）

  4. 點擊一個類別，可以顯示特定的查詢及其詳細資訊，例如：

    • 互動的聯絡電話

    • 啟動聊天機器人互動的查詢

    • 聊天機器人基於使用者輸入、意圖和上下文的回覆。

    • 提供的連結和圖像數量

    • 回覆的日期與時間

    • 平均知識分數。

  5. 您可以切換檢視此資料的方式。 默認檢視是按類別。 單擊分組依據將分組從類別更改為聯繫電話。 數據將根據新的分組重新顯示。

檢視資料 關於機器人績效

此圖顯示了聊天機器人意圖的分佈，突出顯示了前六個最常見的使用者請求以及回退事件。 它可以説明您了解使用者的要求以及聊天機器人的回應方式。

  1. 點擊 機器人績效 標籤可向下鑽取統計資訊。 將出現兩個圖表：

    • 所有機器人意圖：顯示最常見的使用者請求和回退案例，説明您改進聊天機器人的回應方式。

    • 放棄指示器：顯示使用者放棄對話之前聊天機器人的意圖最常見。 它可以幫助您確定下降點並提高使用者保留率。

  2. 您可以自訂圖表中顯示的資料：

    • 點擊絕對數字 或百分比 在百分比和絕對數字之間切換。

    • 按兩下最大化以全屏查看圖形。

Autopilot

Observability DashboardAutopilot顯示了您的知識庫處理客戶問題的能力。 使用此儀錶板查找可在其中向知識庫添加更多文章或自定義文章以更好地回答客戶問題的區域。

  1. 點擊應用程式選擇器並選擇Actions。

  2. 在Actions，點擊Observability Dashboard。

  3. 點擊 Autopilot 標籤。 它顯示GenAI性能圖表。

  4. 為儀錶板設置所需的日期範圍，然後按兩下運行查詢。

檢視有關GenAI效能的資料

此圖顯示了從 AI 引擎收到相關且完整答案的用戶問題數量。

  1. 點擊GenAI績效標籤，查看有關在指定時間段內提出的問題和提供的文章的詳細資訊。

    將出現兩個圖表：

    • 隨時間變化 圖表：顯示一段時間內成功回應和無回應的次數。 回應指示向使用者顯示了一篇文章。 無回應表示未找到匹配的文章。

    • 依據類別 圖表：按類別顯示成功回應和無回應的數量。

    您可以自訂圖表中資料的外觀：

    • 要在百分比和絕對數字之間切換，請按兩下絕對數位 或百分比 。

    • 要全屏查看圖表，請按兩下最大化 。

    • 要切換不同答案狀態的顯示，請點擊圖表中的回應或 無回應 圖例。

  2. 向下捲動圖表下方以查看提供有關查詢的表格。 查詢按類別分組。

  3. 點擊類別會顯示特定查詢和提供的回應。 使用它來確定知識庫中可能缺少文章的區域。

產生 AI 驅動的知識文章

  1. 點擊應用程式選擇器並選擇Actions。

  2. 在Actions，點擊Observability Dashboard。

  3. 點擊生成回應標籤以查看詳細的統計資訊。

  4. 捲動到按類別分組的數據部分。 點擊類別可檢視特定查詢。

  5. 選擇一個查詢，然後按兩下資訊 按鈕。

  6. 在右側的回應詳細資訊面板中，點擊創建文章。 人工智慧生成的文章是根據成績單起草的。 您可以根據需要編輯文章，然後發佈它。

    有關編輯和發佈文章的完整資訊，請參閱知識生成説明。

  7. 當文章已經發佈時，創建文章圖示將顯示為紫色，並帶有一個複選標記。 這意味著知識文章可用，您可以查看它，即使它是由其他人創建的。

從Observability Dashboard匯出資料

  1. 點擊應用程式選擇器並選擇Actions。

  2. 在Actions，點擊Observability Dashboard。

  3. 點擊生成回應標籤以查看詳細的統計資訊。

  4. 捲動到按類別分組的數據部分。 點擊匯出。 您可以根據查詢產生器中設定的篩選器下載所有資料（包括可見和隱藏）。

  5. 從Observability Dashboard匯出資料時，電子表格中的某些欄位由數位代碼表示。 這些代碼對應於特定的標記和反饋類型，如下所示：

    標記

    值
    準 1
    不準確 2

    完成

    		3
    殘 4
    相關 5
    無關緊要 6
    慢 7
    其他 8

    回饋類型

    值
    正面 1
    負面 2