Observability Dashboard

Observability Dashboard permite que você examine os recursos de IA empregados por Copilot, Autopilot Knowledge e Autopilot. O painel fornece insights abrangentes sobre o desempenho das respostas generativas, permitindo que você identifique áreas de melhoria e otimize suas operações.

Copilot

O Observability Dashboard de Copilot fornece informações sobre respostas generativas, Copilot for Agents Consultas e AutoSummary.

1. Clique no seletor de aplicativos , vá para Dados e análises e selecione Actions.

2. No Actions, clique em Painel de observabilidade.

   Por padrão, o painel Copilot é exibido. Ele contém três gráficos:

   • Respostas generativas

   • Consultas de agentes

   • AutoSummary

3. Se necessário, atualize o Intervalo de datas do painel e selecione o tipo de interação em Canal. Escolha visualizar os detalhes de Interações voz, Interações de chat ou Todos.

4. Clique em Executar consulta. Os três gráficos são atualizados para refletir as datas e os canais desejados.

Visualização de dados sobre Respostas generativas

Respostas generativas são respostas geradas automaticamente durante as chamadas.

1. Clique no rótulo Respostas generativas para detalhar as estatísticas. Três gráficos são exibidos:

   • Hora extra: Mostra a porcentagem de respostas que foram usadas, modificadas, ignoradas ou que resultaram em nenhuma resposta ao longo do tempo.

   • Por categoria: exibe os detalhes por categoria.

   • Kb médio por interação: mostra o número médio de interações da base de conhecimento por dia

2. Você pode personalizar os dados que aparecem nos gráficos:

   • Nos gráficos Hora extra e Categoria, você pode alternar a exibição de diferentes status de resposta clicando nas legendas.

   • Nos gráficos Hora extra e Categoria, clique em Números absolutos ou Porcentagem para alternar entre porcentagens e números absolutos.

   • Nos três gráficos, clique em Maximizar para visualizar os dados em formato de tabela.

3. Rolagem para baixo para ver os dados agrupados por categorias. A exibição Categorias organiza as respostas da base de conhecimento em diferentes categorias, oferecendo uma abordagem estruturada para análise. Cada categoria apresenta:

   • Nome do agente

   • Equipe

   • Competência

   • Total volume de respostas da base de conhecimento

   • Escore médio de adesão

   • Número médio de links e imagens fornecidos

   • Pontuação média de conhecimento (pontuação atribuída pela base de conhecimento)

4. Clicar em uma categoria revela as consultas específicas e seus detalhes, como:

   • Consulta enviada ao Base de Conhecimento

   • Resposta sugerida da base de conhecimento

   • Resposta real do agente

   • Número de links e imagens fornecidas

   • Consultar feedback

   • Escore de adesão (a semelhança entre a resposta sugerida e a resposta real)

   • Deslocamento desde o início da interação

   Para cada consulta, você pode:

   • Clique em Reproduzir Interação para ouvir o áudio da interação (se disponível).

   • Clique no botão Informações ao lado da consulta. Você pode exibir os comentários de consulta da interação. No painel Detalhes da resposta à direita, você pode ver se a resposta gerada por IA recebeu feedback positivo ou negativo , juntamente com quaisquer comentários e tags fornecidos.

5. Você pode alternar a maneira como visualiza esses dados. A visualização padrão é por categoria. Clique em Agrupar por para alterar o agrupamento de Categoria para uma das seguintes opções:

   • Contato Master

   • Equipe

   • Competência

   • Nome do Agente

   Os dados reaparecem com base no novo agrupamento.

Exibindo dados sobre Consultas de agentes

Agente Consultas exibe informações sobre as respostas da base de conhecimento geradas sob demanda com base nas perguntas dos agentes. Ele fornece gráficos que mostram o status das consultas diretas e as pontuações de adesão.

1. Clique no cabeçalho do gráfico, Agente Consultas, para detalhar as estatísticas. O primeiro gráfico mostra a porcentagem de respostas e nenhuma resposta ao longo do tempo. O segundo gráfico exibe os detalhes por categoria.

2. Você pode alternar a exibição de diferentes status de resposta clicando nas legendas.

3. Clique em Números absoluto ou Porcentagem para alternar entre porcentagens e números absolutos.

4. Clique em Maximizar para visualizar o gráfico em tela cheia.

5. Role para baixo para ver os dados agrupados por categorias. A exibição Categorias organiza as respostas da base de conhecimento em diferentes categorias, oferecendo uma abordagem estruturada para análise. Cada categoria apresenta:

   • Total volume de respostas

   • Número e média de não respostas

   • Número médio de links e imagens fornecidos

   • Pontuação média de conhecimento (pontuação atribuída pela base de conhecimento)

6. Clicar em uma categoria revela as consultas específicas e seus detalhes, como:

   • consulta do agente enviada ao Base de Conhecimento

   • Resposta à consulta do agente

   • Número de links e imagens fornecidos

   • Data e hora da resposta

   • A pontuação média de conhecimento

exibindo dados sobre AutoSummary Consultas

AutoSummary fornece uma visão abrangente do desempenho resumido. Você pode ver gráficos que acompanham o desempenho ao longo do tempo, com dados agrupados por intenção e competência. Tabelas detalhadas exibem resumos sugeridos ao lado de resumos reais, completos com pontuações de adesão para avaliar a precisão. Para obter detalhes mais abrangentes, você pode reproduzir interações específicas, o que lhe dará uma visão completa de como os resumos são gerados e usados em conversas reais.

Os resumos gerados automaticamente são suportados no Observability Dashboard para CXone ACD e CXone clientes não ACD.

1. Clique no título do gráfico, AutoSummary para detalhar as estatísticas.

   • O primeiro gráfico mostra a porcentagem de resumos que foram usados ao longo do tempo. Resumos são identificados como sendo usados de uma das seguintes maneiras: Como estão, revisados, com pequenas revisões e ignorados.

   • O segundo gráfico exibe os detalhes Por intenção.

   • O terceiro gráfico exibe os detalhes Por competência.

   • O quarto gráfico exibe os detalhes Por equipe.

   Você pode alternar a exibição de diferentes status de resposta clicando nas legendas.

2. Clique em Números absoluto ou Porcentagem para alternar entre porcentagens e números absolutos.

3. Clique em Maximizar para visualizar o gráfico em tela cheia.

4. Role para baixo para ver os dados agrupados por categorias. A exibição Categorias organiza as respostas da base de conhecimento em diferentes categorias, oferecendo uma abordagem estruturada para análise. Cada categoria apresenta:

   • Nomes de agentes

   • Total volume de respostas

   • Número e média de não respostas

   • Número médio de links e imagens fornecidos

   • Pontuação média de conhecimento (pontuação atribuída pela base de conhecimento)

5. Clicar em uma categoria revela as consultas específicas e seus detalhes, como:

   • consulta do agente enviada para a base de conhecimento

   • Resposta à consulta do agente

   • Feedback geral

   • Número de links e imagens fornecidos

   • Data e hora da resposta

   • Pontuação média de conhecimento

   • Pontuação de adesão

6. Em AutoSummary, a pontuação de adesão é determinada pelo LLM usando a seguinte abordagem:

   • O LLM compara o significado do texto em vez do texto exato.

   • Se o texto do resumo real e do resumo sugerido tiver o mesmo significado, a pontuação será alta.

   • Se o resumo sugerido contiver detalhes adicionais, como pequenas revisões que não estão no resumo real, a pontuação será média

   • Se o resumo sugerido e o texto do resumo real tiverem contextos diferentes, a pontuação será baixa.

   • Se não houver um resumo real, por exemplo, o usuário não salvou fisicamente o resumo, nenhuma pontuação será dada e ele será marcado como Resumo não salvo pelo agente.

7. Clique no botão Informações ao lado da consulta. Você pode ver o feedback geral da interação. No painel Detalhes da resposta à direita, você pode ver se a interação recebeu feedback positivo ou negativo , juntamente com quaisquer comentários e tags fornecidos.

Visão do impacto nos negócios

A visualização Impacto nos negócios é um painel dinâmico dentro do painel Copilot que fornece uma visão consolidada das principais métricas de desempenho influenciadas pela atividade do agente. Ele oferece insights visuais sobre tendências operacionais, como indicadores de desempenho do agente de trabalho pós-atendimento (ACW Estado que permite que um agente conclua os requisitos de trabalho após terminar uma interação.) e tempo médio de atendimento (AHT Tempo médio de atendimento é o tempo médio que um agente gastou lidando com uma interação.). Ao expandir esse menu, você pode analisar tendências mensais, aplicar filtros para se concentrar em equipes, competências ou agentes específicos e comparar as médias de desempenho entre as categorias selecionadas. O intervalo de datas e as opções de filtro na visualização Impacto nos negócios são independentes daqueles na Observability Dashboard.

1. Para abrir o menu Impacto nos negócios, clique na seta para cima localizada na parte inferior do painel Copilot. Essa ação expande o painel inferior, revelando métricas de desempenho detalhadas, ou seja,

   • Gráfico ACW Estado que permite que um agente conclua os requisitos de trabalho após terminar uma interação.

   • Gráfico Tempo médio de atendimento é o tempo médio que um agente gastou lidando com uma interação. AHT

2. Na parte superior do painel, atualize o Intervalo de datas do painel para definir o período para o qual você deseja visualizar os dados ACW e AHT. Você pode selecionar opções predefinidas como Últimos 2 dias, Últimos 7 dias, Mês atualou definir um intervalo personalizado. Por padrão, o intervalo de datas é o mesmo definido no Copilot painel. Uma vez selecionado, o gráfico é atualizado automaticamente para mostrar a duração média de ACW e AHT para cada mês dentro desse intervalo.

3. Use as opções Filtrar por para restringir os dados com base em Equipes, Competênciasou Nome do Agente. Você pode selecionar até 5 valores por tipo de filtro. Por exemplo, escolha 5 equipes, 5 competências ou 5 nomes de agentes. Aplique filtros para comparar o desempenho entre diferentes grupos ou indivíduos.

4. Para remover uma categoria de filtro do gráfico ACW e AHT, clique no ícone X ao lado do nome da equipe, competência ou agente selecionado. Depois de removido, o gráfico é atualizado automaticamente para excluir essa categoria da visualização.

5. No painel, as métricas Todas as Competências Média, Média de todas as equipese Média de todos os nomes dos agentes aparecem dinamicamente com base nos filtros aplicados. Quando você filtra por Competências, o gráfico exibe a Média de Competências para mostrar a duração média de ACW e AHT entre os grupos de competências selecionados. Da mesma forma, a filtragem por Equipes ou Nome do agente mostrará Média de todas as equipes ou Média de todos os nomes do agente respectivamente.

6. Interpretando os gráficos:

   • Tendência de alta: indica um aumento no tempo. Para o ACW, os agentes estão gastando mais tempo em tarefas pós-chamada. Para o AHT, as chamadas estão demorando mais para serem atendidas.

   • Tendência de queda: indica uma diminuição no tempo. Para o ACW, os agentes estão concluindo o trabalho pós-chamada mais rapidamente. Para o AHT, as chamadas estão sendo atendidas com mais eficiência.

   • Picos ou quedas repentinas: podem sinalizar mudanças na carga de trabalho, no processo ou no uso da ferramenta. Estes devem ser revisados para entender a causa.

Visualizando os dados ACW

O gráfico ACW (pós-atendimento) ajuda a rastrear quanto tempo os agentes gastam em tarefas pós-chamada a cada mês, mostrando a duração média de todas as chamadas. ACW refere-se ao tempo que um agente gasta concluindo tarefas após encerrar uma chamada com o cliente, como escrever notas, atualizar sistemas ou marcar a interação. A duração média do ACW é calculada dividindo o tempo total de ACW para todas as chamadas pelo número de chamadas atendidas durante o período selecionado:

ACW médio = Tempo total de ACW para todas as chamadas / Número de chamadas

Este gráfico permite comparar o desempenho entre equipes, competências e agentes individuais, identificar padrões ou mudanças incomuns na carga de trabalho e tomar decisões informadas. Além disso, ajuda a indicar se há um aumento ou diminuição no ACW para uma equipe, competência ou agente específico ao longo do tempo. Por exemplo, uma linha ascendente pode indicar uma carga de trabalho crescente após a chamada, enquanto uma tendência descendente pode sugerir maior eficiência ou mudanças no processo.

O gráfico ACW é apresentado como um gráfico de linhas, onde o eixo X representa o tempo em intervalos mensais com base no intervalo de datas selecionado, e o eixo Y mostra a duração média do ACW, normalmente medida em segundos ou minutos. Cada ponto de dados no gráfico reflete a média ACW para aquele mês específico. O gráfico inclui recursos interativos, como passar o mouse para visualizar valores exatos, atualizações dinâmicas com base em filtros aplicados e intervalo de datas e legendas que exibem os filtros selecionados para facilitar a referência.

Visualizando os dados AHT

O gráfico AHT (Tempo médio de atendimento) ajuda a rastrear quanto tempo os agentes gastam lidando com as interações com os clientes a cada mês, mostrando a duração média de todas as chamadas. O AHT inclui todo o tempo de interação, como tempo de conversação, tempo de espera e trabalho pós-atendimento (ACW). A duração média do AHT é calculada dividindo o tempo total de atendimento de todas as chamadas pelo número de chamadas atendidas durante o período selecionado:

AHT=Tempo total de atendimento para todas as chamadas/Número de chamadas

Este gráfico permite comparar o desempenho entre equipes, competências e agentes individuais, identificar padrões ou mudanças incomuns na duração da interação. As tendências no gráfico de AHT podem ajudar a identificar aumentos ou diminuições no AHT para equipes, competências ou agentes específicos ao longo do tempo. Por exemplo, uma linha ascendente pode indicar interações mais longas com o cliente devido à complexidade ou ineficiências, enquanto uma tendência de queda pode sugerir processos simplificados, melhor desempenho do agente ou melhor suporte ao sistema.

O gráfico AHT é apresentado como um gráfico de linhas, onde o eixo X representa o tempo em intervalos mensais com base no intervalo de datas selecionado, e o eixo Y mostra a duração média do AHT, normalmente medida em segundos ou minutos. Cada ponto de dados no gráfico reflete o AHT médio para aquele mês específico. O gráfico inclui recursos interativos, como passar o mouse para visualizar valores exatos, atualizações dinâmicas com base em filtros aplicados e intervalo de datas e legendas que exibem os filtros selecionados para facilitar a referência.

Autopilot Knowledge

O Observability Dashboard de Autopilot Knowledge mostra dados sobre como seu sistema automatizado lida com as perguntas dos clientes. Você verá um gráfico que exibe as tendências de desempenho ao longo do tempo. Isso permite que você acompanhe as alterações diariamente, semanalmente ou mensalmente.

1. Clique no seletor de aplicativos e selecione Actions.

2. No Actions, clique em Observability Dashboard.

3. Clique na guia Autopilot Knowledge. Defina o Intervalo de datas desejado para o painel e clique em Executar consulta. Ele exibe três gráficos:

   • Efetividade geral

   • Desempenho da IA generativa

   • Desempenho do bot

Visualização de dados sobre a Efetividade geral

Este gráfico exibe um resumo de alto nível do desempenho e status do chatbot Autopilot Knowledge.

1. Clique no cabeçalho do gráfico Efetividade geral para detalhar as estatísticas. Quatro gráficos aparecem:

   • Engajado: exibe o número de visitantes que interagiram com o chatbot, ajudando você a entender as tendências de engajamento ao longo do tempo.

   • Contido: exibe a porcentagem e a contagem de usuários do chatbot que concluíram a conversa sem precisar escalar para um agente ativo. Com essa métrica, você pode avaliar a eficácia com que o chatbot resolve consultas de forma independente.

   • Elevado: exibe a porcentagem e a contagem de usuários do chatbot que encaminharam sua conversa para um agente em tempo real, destacando os casos que exigiram intervenção humana. Com essa métrica, você pode monitorar a frequência com que o chatbot entrega conversas a agentes humanos.

   • Abandonado: exibe a porcentagem e a contagem de usuários do chatbot que abandonaram uma conversa em andamento. Com essa métrica, você pode identificar pontos de desistência e melhorar o engajamento do usuário.

2. Você pode personalizar os dados que aparecem nos gráficos:

   • Clique em Números absoluto ou Porcentagem para alternar entre porcentagens e números absolutos.

   • Clique em Maximizar para visualizar o gráfico em tela cheia.

Visualização de dados sobre o desempenho GenAI

Este gráfico exibe a porcentagem de consultas de usuários que foram efetivamente atendidas pelo mecanismo de IA generativa.

1. Clique no rótulo GenAI Desempenho para detalhar as estatísticas. Três gráficos são exibidos:

   • ao longo do tempo : exibe a porcentagem de respostas do chatbot ao longo do tempo.

   • Por categoria: exibe a porcentagem de respostas do chatbot por categoria.

   • Consultas ao modelo generativo: exibe o número total e a porcentagem de consultas de chatbot processadas pelo mecanismo generativo. Essa métrica fornece insights sobre a frequência com que o mecanismo generativo é utilizado para lidar com as interações do usuário.

2. Você pode personalizar os dados que aparecem nos gráficos:

   • Nos gráficos Ao longo do tempo e Categoria, para alternar a exibição de diferentes status de resposta, clique nas legendas Resposta ou Sem resposta nos gráficos.

   • Clique em Números absoluto ou Porcentagem para alternar entre porcentagens e números absolutos.

   • Clique em Maximizarpara visualizar os gráficos em tela cheia.

3. Rolagem para baixo para ver os dados agrupados por categorias. A exibição Categorias organiza as respostas da base de conhecimento em diferentes categorias, oferecendo uma abordagem estruturada para análise. Cada categoria apresenta:

   • Volume total de respostas

   • Número total de não respostas

   • Número médio de links e imagens fornecidos

   • Pontuação média de conhecimento (pontuação atribuída pela base de conhecimento)

4. Clicar em uma categoria revela as consultas específicas e seus detalhes, como:

   • Número de contato da interação

   • Consulta que iniciou a interação do chatbot

   • A resposta do Chatbot com base na entrada, intenção e contexto do usuário.

   • Número de links e imagens fornecidas

   • Data e hora da resposta

   • Pontuação média de conhecimento.

5. Você pode alternar a maneira como visualiza esses dados. A visualização padrão é por categoria. Clique em Agrupar por para alterar o agrupamento de Categoria para Número de Contato. Os dados reaparecem com base no novo agrupamento.

Visualização de dados sobre o desempenho do bot

Este gráfico exibe a distribuição das intenções do chatbot, destacando as seis principais solicitações de usuário mais comuns, juntamente com as ocorrências de fallback. Ele ajuda você a entender o que os usuários perguntam e como o chatbot responde.

1. Clique no rótulo Desempenho do bot para detalhar as estatísticas. Dois gráficos são exibidos:

   • All Bot Intenção: exibe as solicitações de usuários e os casos de fallback mais comuns, ajudando você a melhorar a forma como seu chatbot responde.

   • Indicador de abandono: exibe quais intenções de chatbot eram mais comuns antes de os usuários abandonarem a conversa. Ele ajuda a identificar pontos de desistência e melhorar a retenção de usuários.

2. Você pode personalizar os dados que aparecem nos gráficos:

   • Clique em Números absoluto ou Porcentagem para alternar entre porcentagens e números absolutos.

   • Clique em Maximizarpara visualizar os gráficos em tela cheia.

Autopilot

O Observability Dashboard de Autopilot mostra como sua base de conhecimento é capaz de lidar com as perguntas dos clientes. Use este painel para procurar áreas onde você pode adicionar mais artigos à sua base de conhecimento ou personalizar os artigos para responder melhor às perguntas dos clientes.

1. Clique no seletor de aplicativos e selecione Actions.

2. No Actions, clique em Observability Dashboard.

3. Clique na guia Autopilot. Ele exibe o gráfico GenAI Desempenho.

4. Defina o Intervalo de datas desejado para o painel e clique em Executar consulta.

Visualização de dados sobre o desempenho GenAI

Este gráfico mostra o número de perguntas do usuário que receberam respostas relevantes e completas do mecanismo de IA.

1. Clique no rótulo GenAI Desempenho para exibir detalhes sobre as perguntas feitas e os artigos fornecidos para o período especificado.

   Dois gráficos são exibidos:

   • Ao longo do tempo gráfico: mostra o número de respostas bem-sucedidas e nenhuma resposta ao longo do período. Uma resposta indica que o usuário viu um artigo. Uma ausência de resposta indica que nenhum artigo correspondente foi encontrado.

   • Por categoria gráfico: mostra o número de respostas bem-sucedidas e não respostas por categorias.

   Você pode personalizar a aparência dos dados nos gráficos:

   • Para alternar entre porcentagens e números absolutos, clique em Números absolutos ou Porcentagem .

   • Para visualizar o gráfico em tela cheia, clique em Maximizar .

   • Para alternar a exibição de diferentes status de resposta, clique nas legendas Resposta ou Sem resposta nos gráficos.

2. Rolagem para baixo abaixo dos gráficos para ver uma tabela que fornece detalhes sobre as consultas. As consultas são agrupadas por categorias.

3. Clicar em uma categoria revela as consultas específicas e as respostas fornecidas. Use isso para identificar áreas em que pode estar faltando artigos em sua base de conhecimento.

Gere artigos de conhecimento alimentados por IA

1. Clique no seletor de aplicativos e selecione Actions.

2. No Actions, clique em Observability Dashboard.

3. Clique no rótulo Resposta generativa para exibir estatísticas detalhadas.

4. Rolagem para baixo até a seção de dados agrupados por categorias. Clique em uma categoria para exibir consultas específicas.

5. Selecione uma consulta e clique no botão Informações .

6. No painel Detalhes da resposta à direita, clique em Criar artigo. Um artigo gerado por IA é redigido com base na transcrição. Você pode editar o artigo conforme necessário e publicá-lo.

   Para obter informações completas sobre como editar e publicar um artigo, consulte a ajuda geração de conhecimento.

7. Quando um artigo já foi publicado, o íconeCriar artigoaparece em roxo com uma marca de seleção . Isso significa que um artigo de conhecimento está disponível e você pode visualizá-lo, mesmo que tenha sido criado por outra pessoa.

Exportar dados do Observability Dashboard

1. Clique no seletor de aplicativos e selecione Actions.

2. No Actions, clique em Observability Dashboard.

3. Clique no rótulo Resposta generativa para exibir estatísticas detalhadas.

4. Rolagem para baixo até a seção de dados agrupados por categorias. Clique em Exportar . Você pode baixar todos os dados, visíveis e ocultos, com base nos filtros definidos no construtor de consultas.

5. Quando você exporta dados doObservability Dashboard, alguns campos da planilha são representados por códigos numéricos. Esses códigos correspondem a tags e tipos de feedback específicos, conforme mostrado abaixo:

   Tag	valor
   Preciso	1
   Impreciso	2
   Concluir	3
   Incompleto	4
   Relevante	5
   Irrelevante	6
   Lento	7
   Outra	8

   Tipo de Feedback	valor
   Positivo	1
   Negativo	2