Observability Dashboard

Observability Dashboard允许您仔细检查Copilot、Autopilot Knowledge和Autopilot所采用的 AI 功能。 该仪表板提供了对生成式响应性能的全面洞察，使您能够确定需要改进的领域并优化您的作。

Observability Dashboard 中的数据保留一年。 此保留期限未来可能会根据产品更新而改变。

Copilot

Observability DashboardCopilot提供有关生成式响应、Copilot for Agents Queries和AutoSummary的信息。

  1. 点击应用选择器，转到数据与分析，然后选择Actions。

  2. 在 Actions 上，单击可观测性仪表板。

    默认情况下，将显示Copilot仪表板。 它包含三个图表：

  3. 如果需要，请更新仪表板的日期范围，然后在渠道中选择交互类型。 选择查看语音交互、聊天交互或全部的详细信息。

  4. 单击运行查询。 这三个图表将更新以反映所需的日期和渠道。

查看有关生成式应答的数据

生成式响应是在呼叫过程中自动生成的答案。

  1. 单击 生成式应答 标签以向下钻取统计信息。 将显示三个图形：

    • 随时间变化：显示一段时间内使用、修改、忽略或导致没有答案的答案的百分比。

    • 按类别：按类别显示详细信息。

    • 每次交互的平均 Kb ：显示每天知识库交互的平均次数。

  2. 您可以自定义图表中显示的数据：

    • 在“随时间变化”和“类别”图表中，您可以通过单击图例来切换不同答案状态的显示。

    • 在随时间变化和类别图表中，单击绝对数字 或百分比 到在百分比和绝对数字之间切换。

    • 在所有三个图形中，单击 Maximize以表格格式查看数据。

  3. 向下滚动以查看按类别分组的数据。 “类别视图”将知识库答案组织成不同的类别，从而提供结构化的分析方法。 每个类别均呈现：

    • 坐席姓名

    • 团队

    • 技能

    • 知识库答案总量

    • 平均遵守度分数

    • 提供的链接和图像的平均数量

    • 平均知识分数（知识库分数）

  4. 单击一个类别会显示特定查询及其详细信息，例如：

    • 发送到知识库的查询

    • 建议的知识库答案

    • 坐席的实际响应

    • 提供的链接和图像的数量

    • 查询反馈

    • 遵守度分数（建议响应与实际响应之间的相似度）

    • 距交互开始的偏移量

    对于每个查询，您可以：

    • 单击播放交互 收听交互的音频（如果可用）。

    • 单击查询旁边的 Info 按钮。 您可以查看交互的查询反馈。 在右侧的 Response details （响应详细信息） 面板中，您可以查看 AI 生成的响应是收到正面还是负面反馈，以及提供的任何评论和标签。

  5. 您可以切换查看此数据的方式。 默认视图是按类别。 单击分组依据将分组从类别更改为以下分组之一：

    • 主要联系

    • 团队

    • 技能

    • 坐席姓名

    数据将根据新的分组重新出现。

查看有关坐席查询的数据

坐席查詢显示有关根据坐席问题按需生成的知识库答案的信息。 它提供显示直接查询状态和遵守度分数的图表。

  1. 单击图表标题 坐席 查詢，向下钻取到统计数据。 第一个图表显示随时间变化的响应和无响应百分比。 第二个图表显示类别的详细信息。

  2. 您可以通过单击图例来切换不同答案状态的显示。

  3. 单击绝对数字 或百分比 ，在百分比和绝对数字之间切换。

  4. 单击最大化 全屏查看图表。

  5. 向下滚动可查看按类别分组的数据。 “类别视图”将知识库答案组织成不同的类别，从而提供结构化的分析方法。 每个类别均呈现：

    • 总计响应数量

    • 无响应的数量和平均值

    • 提供的链接和图像的平均数量

    • 平均知识分数（知识库分配的分数）

  6. 单击类别会显示特定查询及其详细信息，例如：

    • 发送到知识库的坐席查询

    • 对坐席查询的响应

    • 提供的链接和图像数量

    • 响应的日期和时间

    • 平均知识得分

查看有关AutoSummary查詢的数据

AutoSummary提供了汇总性能的全面视图。 您可以查看跟踪绩效随时间变化的图表，其中数据按意图和技能分组。 详细的表格显示建议的摘要和实际摘要，以及衡量准确性的遵守度分数。 要获得更全面的详细信息，您可以回放特定的交互，这将使您全面了解摘要是如何在真实对话中生成和使用起来的。

Observability Dashboard中支持CXoneACD和CXone非ACD客户端的自动生成摘要。

  1. 点击图表标题AutoSummary，深入查看统计信息。

    • 第一张图显示了一段时间内使用的摘要的百分比。 摘要被标识为按以下方式之一使用：按原样、已修订、细微修订和忽略。

    • 第二个图形按意图显示详细信息。

    • 第三个图表按技能显示详细信息。

    • 第四张图按团队显示详细信息。

    您可以通过单击图例来切换不同答案状态的显示。

  2. 单击绝对数字 或百分比 ，在百分比和绝对数字之间切换。

  3. 单击最大化 全屏查看图表。

  4. 向下滚动可查看按类别分组的数据。 “类别视图”将知识库答案组织成不同的类别，从而提供结构化的分析方法。 每个类别均呈现：

    • 坐席姓名

    • 总计响应数量

    • 无响应的数量和平均值

    • 提供的链接和图像的平均数量

    • 平均知识分数（知识库分配的分数）

  5. 单击类别会显示特定查询及其详细信息，例如：

    • 发送到知识库的坐席查询

    • 对坐席查询的响应

    • 总体反馈

    • 提供的链接和图像数量

    • 响应的日期和时间

    • 平均知识得分

    • 依从性分数

  6. 在AutoSummary中，依从性分数由法学硕士使用以下方法确定：

    • LLM 比较文本的含义而不是确切的措辞。

    • 如果实际摘要和建议的摘要文本在含义上相同，则得分较高。

    • 如果建议的摘要包含其他详细信息，例如实际摘要中没有的细微修订，则分数为中等

    • 如果建议的摘要和实际的摘要文本具有不同的上下文，则分数较低。

    • 如果没有实际的摘要，例如，用户没有实际保存摘要，则不会给出任何分数，并且将标记为代理未保存摘要。

  7. 单击查询旁边的 Info 按钮。 您可以查看交互的总体反馈。 在右侧的 Response details （响应详细信息） 面板中，您可以查看交互收到的是正面还是负面反馈，以及提供的任何评论和标签。

作为 CX 领导者，Mark 希望利用Observability Dashboard来识别知识库中的知识差距。 他注意到许多知识库建议被修改或忽略。 Mark 单击知识库答案，以便按类别查看数据。 他重点关注平均遵守度分数较低的类别，这指示建议与实际响应之间的偏差。 通过扩展计费和付款等低分类别，Mark 发现对有关付款计划和退款政策的查询的遵守度较低，这表明这些方面存在知识差距。

通过这些Observability Dashboard，Mark 可以确定需要知识库增强的主题。 然后，他可以与知识库团队合作解决这些差距，提高建议的质量，从而更好地与客户互动。

业务影响视图

业务影响视图是Copilot仪表板中的一个动态面板，提供受座席活动影响的关键绩效指标的综合视图。 它提供了对运营趋势的可视化洞察，例如呼叫后工作 （ACW关闭 允许坐席在完成交互后完成工作要求的状态。） 和平均处理时间 （AHT关闭 平均处理时间，即坐席处理一次交互所花费的平均时间。） 座席绩效指标。 通过展开此菜单，您可以分析每月趋势，应用过滤器以关注特定团队、技能或座席，并比较所选类别的绩效平均值。 业务影响视图中的日期范围和筛选器选项独立于Observability Dashboard中的日期范围和筛选器选项。

  1. 要打开业务影响菜单，请单击位于 Copilot 仪表板底部的向上箭头。 此作会展开底部面板，显示详细的性能指标，即

  2. 在控制面板顶部，更新控制面板日期范围以定义要查看 ACW 和 AHT 数据的时间段。 您可以从预设选项中进行选择例如过去 2 天、过去 7 天、当月或设置自定义范围。 默认情况下，日期范围与仪表板中定义Copilot范围相同。 选择后，图表会自动更新，以显示该范围内每个月的平均 ACW 和 AHT 持续时间。

  3. 使用筛选依据选项根据Teams、技能或代理名称缩小数据范围。 每种筛选器类型最多可以选择 5 个值。 例如，选择 5 个团队、5 个技能或 5 个代理名称。 应用过滤器来比较不同群体或个人的表现。

  4. 要从 ACW 和 AHT 图表中删除筛选器类别，请单击所选团队、技能或座席名称旁边的 X 图标。 删除后，图形会自动更新，以从可视化中排除该类别。

  5. 在仪表板中，指标所有技能平均、所有团队平均和所有代理名称平均 根据您应用的过滤器动态显示。 按技能筛选时，图表将显示所有技能平均值 行，以显示所选技能组的平均 ACW 和 AHT 持续时间。 同样，按Teams或代理名称进行筛选将显示所有 Teams 平均值 或所有代理名称平均 分别。

  6. 解释图表：

    • 上升趋势：表示时间增加。 对于 ACW，座席将更多时间花在通话后任务上。 对于 AHT，处理呼叫需要更长的时间。

    • 下降趋势：表示时间减少。 对于 ACW，座席可以更快地完成呼叫后工作。 对于 AHT，呼叫的处理效率更高。

    • 突然的峰值或下降：可能预示着工作负载、流程或工具使用的变化。 应复习这些以了解原因。

查看 ACW 数据

ACW（通话后工作）图表有助于跟踪座席每月在通话后任务上花费的时间，显示所有通话的平均持续时间。 ACW 是指座席在结束客户通话后完成任务所花费的时间，例如写笔记、更新系统或标记交互。 平均 ACW 持续时间的计算方法是将所有呼叫的总 ACW 时间除以所选时间段内处理的呼叫数：

平均 ACW = 所有呼叫的总 ACW 时间 / 呼叫数

通过此图表，您可以比较团队、技能和单个座席之间的绩效，识别工作负载的模式或异常变化，并做出明智的决策。 此外，它还有助于指示特定团队、技能或座席的 ACW 随时间推移是增加还是减少。 例如，上升线可能表明通话后工作量增加，而下降趋势可能表明效率提高或流程发生变化。

ACW 图以折线图的形式呈现，其中 X 轴表示基于所选日期范围的每月间隔时间，Y 轴显示平均 ACW 持续时间，通常以秒或分钟为单位。 图表上的每个数据点都反映了该特定月份的平均 ACW。 该图表包括交互式功能，例如悬停查看精确值、基于应用的筛选器和日期范围的动态更新，以及显示所选筛选器以便于参考的图例。

查看 AHT 数据

AHT（平均处理时间）图表有助于跟踪座席每月处理客户交互所花费的时间，显示所有呼叫的平均持续时间。 AHT 包括整个交互时间，例如通话时间、保持时间和呼叫后工作 （ACW）。 平均 AHT 持续时间的计算方法是将所有呼叫的总处理时间除以所选时间段内处理的呼叫数：

平均 AHT=所有呼叫的总处理时间 / 呼叫数

通过此图表，您可以比较团队、技能和单个座席之间的绩效，识别交互持续时间的模式或异常变化。 AHT 图中的趋势可以帮助确定特定团队、技能或座席的 AHT 随时间的增加或减少。 例如，上升线可能表明由于复杂性或效率低下而导致客户互动时间更长，而下降趋势可能表明流程简化、座席绩效提高或系统支持更好。

AHT 图以折线图的形式呈现，其中 X 轴表示基于所选日期范围的每月间隔时间，Y 轴显示平均 AHT 持续时间，通常以秒或分钟为单位。 图表上的每个数据点都反映了该特定月份的平均 AHT。 该图表包括交互式功能，例如悬停查看精确值、基于应用的筛选器和日期范围的动态更新，以及显示所选筛选器以便于参考的图例。

该Observability Dashboard支持 Engagement Hub 的新Copilot功能，允许您监控不同客户端类型的功能性能。

  • 对于CXoneACD客户：您会看到自动生成的摘要、团队详细信息和技能信息的数据。

  • 对于非CXoneACD客户端：团队和技能数据不可用，相关功能被隐藏。

  • 对于同时使用ACD应用程序和非ACD应用程序的租户：仪表板仅显示与ACD相关的数据。

Autopilot Knowledge

Observability DashboardAutopilot Knowledge显示有关自动化系统处理客户问题的能力的数据。 您将看到一个显示随时间变化的绩效趋势的图表。 这使您可以每天、每周或每月跟踪变化。

  1. 单击应用程序选择器 ，然后选择 Actions。

  2. 在Actions上，单击Observability Dashboard。

  3. 单击 Autopilot Knowledge 选项卡。 为仪表板设置所需的日期范围，然后单击运行查询。 它显示三个图表：

查看有关整体有效性的数据

此图表显示了 Autopilot Knowledge 聊天机器人的性能和状态的高级摘要。

  1. 单击 整体有效性 图形标题以向下钻取统计数据。 此时将显示四个图形：

    • 参与：显示与聊天机器人互动的访客数量，帮助您了解一段时间内的参与趋势。

    • 包含：显示无需升级到人工代理即可完成对话的聊天机器人用户的百分比和计数。 使用此指标，您可以评估聊天机器人独立解决查询的效率。

    • 提升：显示将对话升级到人工代理的聊天机器人用户的百分比和数量，突出显示需要人工干预的案例。 使用此指标，您可以监控聊天机器人将对话移交给人工代理的频率。

    • Abandoned：显示放弃正在进行的对话的聊天机器人用户的百分比和计数。 使用此指标，您可以识别流失点并提高用户参与度。

  2. 您可以自定义图表中显示的数据：

    • 单击绝对数字 或百分比 ，在百分比和绝对数字之间切换。

    • 单击最大化 以全屏查看图表。

查看有关GenAI性能的数据

此图表显示了生成式 AI 引擎有效解决的用户查询的百分比。

  1. 单击GenAI绩效标签以向下钻取到统计信息。 将显示三个图形：

    • 随时间推移 ：显示聊天机器人响应随时间推移的百分比。

    • 按类别：显示聊天机器人响应在类别中的百分比。

    • 查詢生成模型：显示生成引擎处理的聊天机器人查询的总数和百分比。 该指标提供了对生成引擎在处理用户交互中的使用频率的见解。

  2. 您可以自定义图表中显示的数据：

    • 在 Over Time （随时间） 和 Category （类别） 图表中，要切换不同答案状态的显示，请单击图表中的 Response 或 无响应 图例。

    • 单击绝对数字 或百分比 ，在百分比和绝对数字之间切换。

    • 单击 Maximize以全屏查看图表。

  3. 向下滚动以查看按类别分组的数据。 “类别视图”将知识库答案组织成不同的类别，从而提供结构化的分析方法。 每个类别均呈现：

    • 响应总量

    • 无响应总数

    • 提供的链接和图像的平均数量

    • 平均知识分数（知识库分数）

  4. 单击一个类别会显示特定查询及其详细信息，例如：

    • 互动的联系电话

    • 启动聊天机器人交互的查询

    • 聊天机器人根据用户的输入、意图和上下文进行回复。

    • 提供的链接和图像的数量

    • 响应的日期和时间

    • 平均知识得分。

  5. 您可以切换查看此数据的方式。 默认视图是按类别。 单击 分组依据 将分组从 类别 更改为 联系电话。 数据将根据新的分组重新出现。

查看有关机器人性能的数据

此图表显示了聊天机器人意图的分布，突出显示了前 6 个最常见的用户请求以及回退发生次数。 它可以帮助您了解用户询问的内容以及聊天机器人的响应方式。

  1. 单击 机器人性能 标签以向下钻取统计信息。 将显示两个图形：

    • 所有 Bot 意图：显示最常见的用户请求和回退案例，帮助您改进聊天机器人的响应方式。

    • 放弃指示器：显示在用户放弃对话之前最常见的聊天机器人意图。 它可以帮助您识别流失点并提高用户留存率。

  2. 您可以自定义图表中显示的数据：

    • 单击绝对数字 或百分比 ，在百分比和绝对数字之间切换。

    • 单击 Maximize以全屏查看图表。

Autopilot

Observability DashboardAutopilot显示了您的知识库处理客户问题的能力。 使用此仪表板查找可以向知识库添加更多文章或自定义文章以更好地回答客户问题的区域。

  1. 单击应用程序选择器 ，然后选择 Actions。

  2. 在Actions上，单击Observability Dashboard。

  3. 单击 Autopilot 选项卡。 它将显示 GenAI Performance （性能） 图表。

  4. 为仪表板设置所需的日期范围，然后单击运行查询。

查看有关GenAI性能的数据

此图表显示了从 AI 引擎收到相关且完整答案的用户问题数。

  1. 单击GenAI绩效标签可查看有关在指定时间段内提出的问题和提供的文章的详细信息。

    将显示两个图形：

    • Over Time graph：显示一段时间内成功响应和无响应的数量。 响应指示向用户显示文章。 无响应表示未找到匹配的文章。

    • 按类别图：按类别显示成功响应和未响应的数量。

    您可以自定义图表中数据的外观：

    • 要在百分比和绝对数字之间切换，请单击绝对数字 或百分比 。

    • 要全屏查看图表，请单击最大化 。

    • 要切换不同答案状态的显示，请单击图表中的响应或 无响应 图例。

  2. 在图形下方向下滚动以查看提供有关查询的详细信息的表。 查询按类别分组。

  3. 单击类别会显示特定查询和提供的响应。 使用它来确定知识库中可能缺少文章的区域。

生成 AI 驱动的知识文章

  1. 单击应用程序选择器 ，然后选择 Actions。

  2. 在Actions上，单击Observability Dashboard。

  3. 单击 Generative Response 标签可查看详细统计信息。

  4. 向下滚动到按类别分组的数据部分。 单击类别可查看特定查询。

  5. 选择一个查询，然后单击 Info 按钮。

  6. 在右侧的 Response details 面板中，单击 Create Article。 根据成绩单起草 AI 生成的文章。 您可以根据需要编辑文章，然后发布。

    有关编辑和发布文章的完整信息，请参阅知识生成帮助。

  7. 当文章已发布时，创建文章图标将显示为紫色，并带有的复选标记。 这意味着知识文章可用，您可以查看它，即使它是由其他人创建的。

从 Observability Dashboard 导出数据

  1. 单击应用程序选择器 ，然后选择 Actions。

  2. 在Actions上，单击Observability Dashboard。

  3. 单击 Generative Response 标签可查看详细统计信息。

  4. 向下滚动到按类别分组的数据部分。 单击导出 。 您可以根据查询生成器中设置的筛选条件下载所有数据，包括可见和隐藏的数据。

  5. 当您从Observability Dashboard导出数据时，电子表格中的某些字段由数字代码表示。 这些代码对应于特定的标签和反馈类型，如下所示：

    标记

    值
    准确 1
    不准确 2

    完成

    		3
    不完整 4
    相关 5
    不相关 6
    慢 7
    其他 8

    反馈类型

    值
    积极 1
    阴性 2