Observability Dashboard
Observability Dashboard允許您仔細檢查Copilot、Autopilot Knowledge和Autopilot所採用的 AI 功能。 儀錶板提供了對生成回應性能的全面洞察,使您能夠確定需要改進的領域並優化運營。
Copilot
Observability DashboardCopilot提供有關生成回應、Copilot for Agents查詢和AutoSummary的資訊。
-
點擊應用程式選擇器
並選擇Actions。 -
在Actions上,點擊可觀察性控制面板。
默認情況下,將顯示Copilot儀錶板。 它包含三個圖表:
-
如果需要,請更新控制面板的日期範圍,並在通道中選擇互動類型。 選擇查看語音互動、聊天互動或全部的詳細資訊。
-
點擊執行查詢。 這三個圖表將更新以反映您想要的日期和頻道。
Mpower 客服專員績效指標
Mpower 客服專員績效指標提供了如何在不同階段建議、執行和評估客服專員操作的全面視圖。 這些圖表有助於視覺化任務績效 - 顯示動作如何成功或失敗,醒目顯示一段時間內的趨勢,並顯示不同任務需要多長時間才能完成。
-
點擊 Mpower 客服專員績效指標標籤以深入了解統計資料。 出現四個圖表:
-
Mpower 客服專員績效指標:此圖表顯示客服專員績效指標如何經歷不同階段:
-
可用:符合或準備好評估或考慮績效指標的動作總數。
-
建議:根據績效標準建議用於特定評估或干預的可用行動的子集。
-
不建議:不建議執行的可用動作的子集,可能是因為符合績效標準或不符合條件。
-
已拒絕:從建議動作來看,這些動作是在進一步審查或決策後未核准或拒絕執行的動作。
-
已執行:從建議動作中,這些是成功執行的建議動作。
-
成功:滿足所有必要條件並為營運目標做出積極貢獻的已執行動作的子集。
-
失敗:在評估過程中被拒絕且不符合最終執行準則的建議子集。
-
-
總操作:此圖表清楚地細分了客服專員操作在各個階段的進展情況。 此圖表顯示所有客服專員的動作總數。 圓形圖的中心顯示可用動作總數,表示可供評估的動作總數。 周圍的區段將此總計細分為類別,例如建議、已拒絕、執行、成功、失敗等。
此視圖可協助您了解動作的總體數量,以及它們如何在不同的效能階段分佈。
-
任務助理績效指標:此圖表提供了隨時間變化和按動作類型建議、執行和拒絕動作的全面視圖。
-
平均 執行時間:此圖表顯示不同動作完成所需的時間。 它可以幫助您比較每個動作(例如疑難排解、排程或資料輸入)的執行時間,以便您了解哪些動作速度快,哪些動作需要更長的時間。
-
每個動作都有一個箱線圖,顯示完成所需的範圍和平均時間。
-
執行時間較短或更一致的動作具有較窄的框。
-
具有更多變化或異常值的動作在範圍之外具有較寬的方塊或點。
-
-
-
如果需要,更新控制面板的日期範圍,在通道中選擇互動類型,然後在Copilot中選擇配置或角色Copilot設定檔。 點擊執行查詢。 這三個圖表已更新,以反映您想要的日期、通道和Copilot設定檔。
-
您可以自訂圖表中顯示的資料:
-
在隨時間變化和按動作圖中,您可以透過點擊圖例來切換客服專員任務的建議、執行和拒絕方式的顯示。
-
在「隨時間變化和按動作」圖表中,點擊絕對數字
或百分比
在百分比和絕對數字之間切換。 -
在所有圖表中,點擊最大化
以表格格式檢視資料。
-
-
向下滾動以檢視按動作名稱分組的效能數據,讓使用者能夠分析特定任務的處理方式。 對於每個動作,表格顯示:
-
建議總數:向客服專員推薦該動作的次數。
-
總執行次數:客服專員實際執行該動作的次數。
-
平均 執行:平均執行速率,通常以綠色醒目顯示表示高效能。
-
總成功:動作導致成功結果的次數。
-
平均 成功:平均成功率,以藍色或紅色等顏色醒目提示,表示效能水準。
-
-
點擊動作名稱會顯示特定查詢及其詳細資訊,例如:
-
您可以切換檢視此資料的方式。 預設視圖是按動作名稱。 點擊分組依據將分組從操作名稱變更為互動 ID或按下拉式選單中列出的任何其他選項。 數據將根據新的分組重新顯示。
-
若要根據查詢產生器中設定的篩選器下載所有資料(可見和隱藏),請參閱匯出部分。
檢視資料 關於產生回應
生成回應是在通話過程中自動生成的應答。
-
點擊 產生回應 標籤可向下鑽取統計資訊。 出現三個圖形:
-
依據期間:顯示一段時間內被使用、修改、忽略或導致沒有答案的答案的百分比。
-
依據類別:按類別顯示詳細資訊。
-
每次互動的平均 Kb :顯示每天平均知識庫互動次數。
-
-
您可以自訂圖表中顯示的資料:
-
在依據期間和類別圖中,您可以通過單擊圖例來切換不同答案狀態的顯示。
-
在依據期間和類別圖表中,點擊絕對數位
或百分比
在百分比和絕對數位之間切換。 -
在所有三個圖表中,按兩下最大化
以表格格式查看資料。
-
-
向下捲動以查看按類別分組的資料。 類別試圖可將知識庫答案組織為不同類別,提供結構化的分析方法。 每個類別都有:
-
客服專員名稱
-
團隊
-
技能
-
知識庫答案總數
-
平均依從性分數
-
平均提供的連結和圖像數量
-
平均知識分數(知識庫指派的分數)
-
-
點擊一個類別,可以顯示特定的查詢及其詳細資訊,例如:
-
傳送到知識庫的查詢
-
建議的知識庫答案
-
客服專員的實際回應
-
提供的連結和圖像數量
-
查詢回饋
-
依從性分數(建議和實際回應之間的相似性)
-
從互動開始偏移
-
點擊播放互動
收聽互動的音訊(如果可用)。 -
點擊查詢旁邊的資訊
按鈕。 您可以檢視互動的查詢回饋。 在右側的回應詳細資訊面板中,您可以查看 AI 產生的回應是收到了正面
還是負面
反饋,以及提供的任何評論和標記。
-
-
您可以切換檢視此資料的方式。 默認檢視是按類別。 單擊分組依據將分組從類別更改為以下分組之一:
-
主聯絡
-
團隊
-
技能
-
客服專員名稱
數據將根據新的分組重新顯示。
-
檢視資料 關於客服專員查詢
客服專員查詢顯示有關根據客服專員問題按需生成的知識庫答案的資訊。 它提供了顯示直接查詢狀態和依從性分數的圖表。
點擊圖表標題 客服專員 查詢 以向下鑽取統計資訊。 第一個圖顯示了特定時段回應和無回應的百分比。 第二個圖表顯示隨類別變化的詳細資訊。
您可以通過單擊圖例來切換不同答案狀態的顯示。
點擊絕對數字
或百分比
可以在百分比和絕對數字之間切換。點擊最大化
到全屏查看圖表。向下捲動以查看依類別分類的資料。 類別試圖可將知識庫答案組織為不同類別,提供結構化的分析方法。 每個類別都會顯示:
回應總數
無回應的數量和平均值
所提供連結與圖像的平均數量
平均知識分數(由知識庫指定的分數)
點擊類別可顯示特定查詢及其詳細資訊,例如:
客服專員查詢傳送到知識庫
對客服專員查詢的回應
提供的連結和圖像數量
回應的日期和時間
平均知識分數
查看有關AutoSummary查詢的數據
AutoSummary提供了摘要績效的全面視圖。 您可以看到隨時間追踪績效的圖表,以及按意圖和技能分組的資料。 詳細的表格顯示了建議的摘要和實際摘要,並附有對測量準確度的依從性分數。 有關更全面的詳細資訊,您可以重播特定的交互,這將使您全面瞭解如何在實際對話中生成和使用摘要。
Observability Dashboard中支援CXoneACD和CXone非ACD用戶端的自動產生摘要。 互動結束後,摘要資料最多可能需要 15 分鐘才會顯示在控制面板中。 此延遲可確保摘要在顯示之前得到完全處理和記錄。
點擊圖表標題AutoSummary,深入了解統計資料。
第一個圖表顯示了一段時間內使用的摘要的百分比。 摘要被標識為以下列方式之一使用:按原樣、已修訂、次要修訂和忽略。
第二個圖顯示詳細資訊依據意圖。
第三個圖顯示了依據技能的詳細資訊。
第四張圖顯示了依據團隊的詳細資訊。
您可以通過單擊圖例來切換不同答案狀態的顯示。
點擊絕對數字
或百分比
可以在百分比和絕對數字之間切換。點擊最大化
到全屏查看圖表。向下捲動以查看依類別分類的資料。 類別試圖可將知識庫答案組織為不同類別,提供結構化的分析方法。 每個類別都會顯示:
客服專員名稱
回應總數
無回應的數量和平均值
所提供連結與圖像的平均數量
平均知識分數(由知識庫指定的分數)
點擊類別可顯示特定查詢及其詳細資訊,例如:
發送到知識庫的客服專員查詢
對客服專員查詢的回應
整體回饋
提供的連結和圖像數量
回應的日期和時間
平均知識分數
依從性分數
在AutoSummary中,依從性分數由 LLM 使用以下方法確定:
點擊查詢旁邊的資訊
按鈕。 您可以檢視互動的整體回饋。 在右側的回應詳細資訊面板中,您可以查看互動是收到了正面
還是負面
反饋,以及提供的任何評論和標記。
作為客戶體驗領導者,Mark 希望利用Observability Dashboard來識別知識庫中的知識差距。 他注意到許多知識庫建議被修改或忽略。 Mark 點擊知識庫答案以按類別查看資料。 他將重點放在平均依從性分數較低的類別上,這表示建議與實際回應之間的不一致。 透過擴展低分數類別(例如「帳單與付款」),Mark 可以看到有關付款計劃和退款原則的查詢依從性偏低,這表示在這些領域存在知識缺口。
通過Observability Dashboard,Mark 可以查明需要增強知識庫的主題。 然後,他可以與知識庫團隊合作解決這些差距,提高建議的品質,從而更好地與客戶互動。
業務影響檢視
業務影響視圖是Copilot控制面板中的一個動態面板,提供受客服專員活動影響的關鍵績效指標的綜合視圖。 它提供了對運營趨勢的直觀洞察,例如通話後工作 (ACW
允許客服專員在完成互動後完成工作要求的狀態。) 和平均處理時間 (AHT
平均處理時間是客服專員處理互動所花費的平均時間。) 客服專員績效指標。 透過展開此選單,您可以分析每月趨勢,套用篩選器來關注特定團隊、技能或客服專員,並比較所選類別的平均績效。 業務影響視圖中的日期範圍和篩選器選項獨立於Observability Dashboard中的日期範圍和篩選器選項。
-
若要開啟業務影響選單,請點擊位於 Copilot 儀表板底部的向上箭頭。 此動作會展開底部面板,顯示詳細的效能指標,即
-
在控制面板頂部,更新控制面板日期範圍以定義您要檢視 ACW 和 AHT 資料的期間。 您可以從預設選項中進行選擇例如最近 2 天、過去 7 天、當月或設定自訂範圍。 預設情況下,日期範圍與控制面板中定義Copilot範圍相同。 選擇後,圖表會自動更新,顯示該範圍內每個月的平均 ACW 和 AHT 持續時間。
-
使用篩選依據選項可根據團隊、技能或客服專員名稱縮小資料範圍。 每種篩選器類型最多可以選擇 5 個值。 例如,選擇 5 個團隊、5 個技能或 5 個客服專員名稱。 套用篩選器來比較不同群體或個人的表現。
-
若要從 ACW 和 AHT 圖表中刪除篩選器類別,請點擊所選團隊、技能或客服專員名稱旁邊的 X 圖示。 刪除後,圖表會自動更新,以從視覺化中排除該類別。
-
在控制面板中,指標所有技能平均、所有團隊平均和所有客服專員名稱平均 根據您套用的篩選器動態顯示。 按技能篩選時,圖表顯示全部技能平均 行以顯示所選技能組的平均 ACW 和 AHT 持續時間。 同樣,按團隊或客服專員名稱篩選將顯示所有團隊平均 或所有客服專員姓名平均 各自地。
-
解釋圖表:
-
上升趨勢:表示時間增加。 對於 ACW,客服專員將更多時間花在通話後任務上。 對於 AHT,處理呼叫需要更長的時間。
-
下降趨勢:表示時間減少。 對於 ACW,客服專員可以更快地完成通話後工作。 對於 AHT,呼叫的處理效率更高。
-
突然尖峰或下降:可能預示著工作量、流程或工具使用情況的變化。 應審查這些以了解原因。
-
檢視 ACW 資料
ACW(通話後工作)圖表有助於追蹤客服專員每月在通話後任務上花費的時間,顯示所有通話的平均持續時間。 ACW 是指客服專員在結束客戶通話後完成任務所花費的時間,例如寫筆記、更新系統或標記互動。 平均 ACW 持續時間的計算方法是將所有呼叫的總 ACW 時間除以所選時段內處理的呼叫數量:
平均 ACW = 所有呼叫的總 ACW 時間 / 呼叫次數
此圖表可讓您比較團隊、技能和單個客服專員之間的績效,識別工作量的模式或異常變化,並做出明智的決策。 此外,它還有助於指示特定團隊、技能或客服專員的 ACW 隨時間推移是增加還是減少。 例如,上升線可能表示通話後工作量增加,而下降趨勢可能表示效率提高或流程發生變化。
ACW 圖以折線圖的形式呈現,其中 X 軸表示基於所選日期範圍的每月間隔時間,Y 軸顯示平均 ACW 持續時間,通常以秒或分鐘為單位。 圖表上的每個資料點都反映了該特定月份的平均 ACW。 此圖表包括互動式功能,例如懸停以檢視精確值、基於套用的篩選器和日期範圍的動態更新,以及顯示所選篩選器以便於參考的圖例。
檢視 AHT 資料
AHT(平均處理時間)圖表有助於追蹤客服專員每月處理客戶互動所花費的時間,顯示所有呼叫的平均持續時間。 AHT 包括整個互動時間,例如通話時間、保持時間和通話後工作 (ACW)。 平均 AHT 持續時間的計算方法是將所有呼叫的總處理時間除以所選時間段內處理的呼叫數:
平均 AHT=所有呼叫的總處理時間 / 呼叫數量
此圖表可讓您比較團隊、技能和單個客服專員之間的績效,識別互動持續時間的模式或異常變化。 AHT 圖表中的趨勢可以幫助識別特定團隊、技能或客服專員的 AHT 隨時間的增加或減少。 例如,上升線可能表示由於複雜性或低效率而導致客戶互動時間更長,而下降趨勢可能表示流程簡化、客服專員績效提高或系統支援更好。
AHT 圖以折線圖的形式呈現,其中 X 軸表示基於所選日期範圍的每月間隔時間,Y 軸顯示平均 AHT 持續時間,通常以秒或分鐘為單位。 圖表上的每個資料點都反映了該特定月份的平均 AHT。 此圖表包括互動式功能,例如懸停以檢視精確值、基於套用的篩選器和日期範圍的動態更新,以及顯示所選篩選器以便於參考的圖例。
Autopilot Knowledge
Observability DashboardAutopilot Knowledge顯示有關自動化系統處理客戶問題的能力的數據。 您會看到一個顯示一段時間內表現趨勢的圖表。 可讓您每日、每週或每月追踪變更。
-
點擊應用程式選擇器
並選擇Actions。 -
在Actions,點擊Observability Dashboard。
-
點擊 Autopilot Knowledge 標籤。 為儀錶板設置所需的日期範圍,然後按兩下運行查詢。 它顯示三個圖表:
檢視資料 關於整體有效性
此圖顯示了聊天機器人性能和狀態的高級摘要Autopilot Knowledge。
-
點擊 整體有效性 圖表標題以向下鑽取統計資訊。 出現四個圖表:
-
參與度:顯示與聊天機器人互動的訪客數量,説明您了解一段時間內的參與趨勢。
-
包含:顯示無需上報至真人客服專員即可完成對話的聊天機器人使用者的百分比和計數。 通過此指標,您可以評估聊天機器人獨立解決查詢的效率。
-
提升:顯示將對話升級到即時客服專員的聊天機器人使用者的百分比和數量,突出顯示需要人工干預的案例。 使用此指標,您可以監控聊天機器人將對話移交給人工代理的頻率。
-
已放棄:顯示放棄正在進行的對話的聊天機器人使用者的百分比和數量。 使用此指標,您可以確定下降點並提高用戶參與度。
-
-
您可以自訂圖表中顯示的資料:
-
點擊絕對數字
或百分比
在百分比和絕對數字之間切換。 -
點擊最大限度
以全螢幕檢視圖表。
-
檢視有關GenAI效能的資料
此圖顯示了生成 AI 引擎有效處理的用戶查詢的百分比。
-
點擊GenAI績效標籤可深入了解統計資訊。 出現三個圖形:
-
隨時間變化:顯示聊天機器人回應隨時間變化的百分比。
-
依據類別:顯示聊天機器人回應在類別中的百分比。
-
查詢生成模型:顯示生成引擎處理的聊天機器人查詢的總數和百分比。 此指標提供了有關生成引擎在處理使用者交互中的使用頻率的見解。
-
-
您可以自訂圖表中顯示的資料:
-
在「隨時間變化」和「類別」圖表中,要切換不同答案狀態的顯示,請按兩下圖表中的回應或無回應圖例。
-
點擊絕對數字
或百分比
在百分比和絕對數字之間切換。 -
按兩下最大化
以全屏查看圖形。
-
-
向下捲動以查看按類別分組的資料。 類別試圖可將知識庫答案組織為不同類別,提供結構化的分析方法。 每個類別都有:
-
回應總數
-
無回應總數
-
平均提供的連結和圖像數量
-
平均知識分數(知識庫指派的分數)
-
-
點擊一個類別,可以顯示特定的查詢及其詳細資訊,例如:
-
互動的聯絡電話
-
啟動聊天機器人互動的查詢
-
聊天機器人基於使用者輸入、意圖和上下文的回覆。
-
提供的連結和圖像數量
-
回覆的日期與時間
-
平均知識分數。
-
-
您可以切換檢視此資料的方式。 默認檢視是按類別。 單擊分組依據將分組從類別更改為聯繫電話。 數據將根據新的分組重新顯示。
檢視資料 關於機器人績效
此圖顯示了聊天機器人意圖的分佈,突出顯示了前六個最常見的使用者請求以及回退事件。 它可以説明您了解使用者的要求以及聊天機器人的回應方式。
-
點擊 機器人績效 標籤可向下鑽取統計資訊。 將出現兩個圖表:
-
所有機器人意圖:顯示最常見的使用者請求和回退案例,説明您改進聊天機器人的回應方式。
-
放棄指示器:顯示使用者放棄對話之前聊天機器人的意圖最常見。 它可以幫助您確定下降點並提高使用者保留率。
-
-
您可以自訂圖表中顯示的資料:
-
點擊絕對數字
或百分比
在百分比和絕對數字之間切換。 -
按兩下最大化
以全屏查看圖形。
-
Autopilot
Observability DashboardAutopilot顯示了您的知識庫處理客戶問題的能力。 使用此儀錶板查找可在其中向知識庫添加更多文章或自定義文章以更好地回答客戶問題的區域。
-
點擊應用程式選擇器
並選擇Actions。 -
在Actions,點擊Observability Dashboard。
-
點擊 Autopilot 標籤。 它顯示GenAI性能圖表。
-
為儀錶板設置所需的日期範圍,然後按兩下運行查詢。
檢視有關GenAI效能的資料
此圖顯示了從 AI 引擎收到相關且完整答案的用戶問題數量。
-
點擊GenAI績效標籤,查看有關在指定時間段內提出的問題和提供的文章的詳細資訊。
將出現兩個圖表:
-
隨時間變化 圖表:顯示一段時間內成功回應和無回應的次數。 回應指示向使用者顯示了一篇文章。 無回應表示未找到匹配的文章。
-
依據類別 圖表:按類別顯示成功回應和無回應的數量。
您可以自訂圖表中資料的外觀:
-
要在百分比和絕對數字之間切換,請按兩下絕對數位
或百分比
。
-
要全屏查看圖表,請按兩下最大化
。 -
要切換不同答案狀態的顯示,請點擊圖表中的回應或 無回應 圖例。
-
-
向下捲動圖表下方以查看提供有關查詢的表格。 查詢按類別分組。
-
點擊類別會顯示特定查詢和提供的回應。 使用它來確定知識庫中可能缺少文章的區域。
產生 AI 驅動的知識文章
-
點擊應用程式選擇器
並選擇Actions。 -
在Actions,點擊Observability Dashboard。
-
點擊生成回應標籤以查看詳細的統計資訊。
-
捲動到按類別分組的數據部分。 點擊類別可檢視特定查詢。
-
選擇一個查詢,然後按兩下資訊
按鈕。 -
在右側的回應詳細資訊面板中,點擊創建文章
。 人工智慧生成的文章是根據成績單起草的。 您可以根據需要編輯文章,然後發佈它。有關編輯和發佈文章的完整資訊,請參閱知識生成説明。
-
當文章已經發佈時,創建文章圖示將顯示為紫色,並帶有一個複選標記
。 這意味著知識文章可用,您可以查看它,即使它是由其他人創建的。
從Observability Dashboard匯出資料
-
點擊應用程式選擇器
並選擇Actions。 -
在Actions,點擊Observability Dashboard。
-
點擊生成回應標籤以查看詳細的統計資訊。
-
捲動到按類別分組的數據部分。 點擊匯出
。 您可以根據查詢產生器中設定的篩選器下載所有資料(包括可見和隱藏)。 -
從Observability Dashboard匯出資料時,電子表格中的某些欄位由數位代碼表示。 這些代碼對應於特定的標記和反饋類型,如下所示:
標記
值
準 1 不準確 2 完成
3 殘 4 相關 5 無關緊要 6 慢 7 其他 8 回饋類型
值
正面 1 負面 2
可觀察性Copilot
Observability Copilot 是一款由 AI 驅動的助手,可幫助您使用自然語言與 Observability Dashboard 互動。 它使您能夠分析系統資料、動態管理類別和意圖,並獲得可操作的見解以提高營運效率。
存取可觀察性 Copilot
-
開啟 Observability Dashboard。
-
選擇Sparkle AI
圖示以啟動可觀測性Copilot面板。
在 Observability Copilot 中開始和管理對話
若要開始對話:
-
在Copilot面板中,找到底部的輸入欄位。
-
使用自然語言鍵入您的問題或命令。
範例: 「告訴我過去一年雜項類別的生成回應統計量是多少?」
-
按 Enter 提交您的查詢。
-
Copilot 會根據您的查詢提供詳細的結構化回應。
-
使用向上 (↑) 和向下 (↓) 方向鍵瀏覽 Observability Copilot 中先前的查詢。
若要編輯並重新提交查詢:
您只能編輯並重新提交 Copilot 面板中的最後一個查詢
-
在對話歷程記錄中找到最新的查詢。
-
點擊查詢文字。 所選查詢將在面板底部的輸入欄位中變為可編輯。
-
根據需要修改查詢。 更新措辭、更正任何拼寫錯誤、變更查詢參數以精簡結果或更新整個查詢。
範例:
原始查詢:「顯示 2023 年帳單類別的回應統計資料。」
更新查詢:「顯示 2023 年第 1 季計費類別的回應統計資料。」
-
按 Enter 提交更新的查詢。
-
Copilot會處理修訂後的輸入,並根據更新的查詢傳回新的回應。
管理類別和意圖
您可以使用自然語言命令直接在控制面板中新增、移除和重新命名類別和意圖。 只需鍵入您的命令並按 Enter 即可套用變更。
-
要新增:「新增一個名為『計費問題』的新類別,描述為『查詢與帳單差異相關』。」
-
要刪除:「從控制面板中刪除『舊版支援』類別。」
-
重新命名:「將意圖重新命名『登入說明』改為『驗證協助』。」
-
要更新:「將『計費問題』類別的描述更新為『包括與發票、費用和付款差異相關的所有查詢』。」
「將意圖『登入說明』的描述更新為『協助使用者解決驗證和登入相關問題』。」