Observability Dashboard

Observability Dashboard permite que você examine os recursos de IA empregados por Copilot, Autopilot Knowledge e Autopilot. O painel fornece insights abrangentes sobre o desempenho das respostas generativas, permitindo que você identifique áreas de melhoria e otimize suas operações.

Copilot

O Observability Dashboard de Copilot fornece informações sobre respostas generativas, Copilot for Agents Consultas e AutoSummary.

  1. Clique no seletor de aplicativos e selecione Actions.

  2. No Actions, clique em Painel de observabilidade.

    Por padrão, o painel Copilot é exibido. Ele contém três gráficos:

  3. Se necessário, atualize o Intervalo de datas do painel e selecione o tipo de interação em Canal. Escolha visualizar os detalhes de Interações voz, Interações de chat ou Todos.

  4. Clique em Executar consulta. Os três gráficos são atualizados para refletir as datas e os canais desejados.

Visualização de dados sobre o desempenho GenAI

Respostas generativas são respostas geradas automaticamente durante as chamadas.

  1. Clique no rótulo GenAI Desempenho para detalhar as estatísticas. Três gráficos são exibidos:

    • Hora extra: Mostra a porcentagem de respostas que foram usadas, modificadas, ignoradas ou que resultaram em nenhuma resposta ao longo do tempo.

    • Por categoria: exibe os detalhes por categoria.

    • Kb médio por interação: mostra o número médio de interações da base de conhecimento por dia

  2. Você pode personalizar os dados que aparecem nos gráficos:

    • Nos gráficos Hora extra e Categoria, você pode alternar a exibição de diferentes status de resposta clicando nas legendas.

    • Nos gráficos Hora extra e Categoria, clique em Números absolutos ou Porcentagem para alternar entre porcentagens e números absolutos.

    • Em todos os três gráficos, clique em Maximizar para exibir os dados em formato de tabela.

  3. Rolagem para baixo para ver os dados agrupados por categorias. A exibição Categorias organiza as respostas da base de conhecimento em diferentes categorias, oferecendo uma abordagem estruturada para análise. Cada categoria apresenta:

    • Total volume de respostas da base de conhecimento

    • Escore médio de adesão

    • Número médio de links e imagens fornecidos

    • Pontuação média de conhecimento (pontuação atribuída pela base de conhecimento)

  4. Clicar em uma categoria revela as consultas específicas e seus detalhes, como:

    • Consulta enviada ao Base de Conhecimento

    • Resposta sugerida da base de conhecimento

    • Resposta real do agente

    • Número de links e imagens fornecidas

    • Escore de adesão (a semelhança entre a resposta sugerida e a resposta real)

    • Deslocamento desde o início da interação

    Para cada consulta, você pode:

    • Clique em Reproduzir Interação para ouvir o áudio da interação (se disponível).

    • Clique no botão Informações para a consulta. No painel Detalhes da resposta à direita, clique no botão Criar artigo para gerar um artigo de conhecimento. Um artigo gerado por IA é redigido com base na transcrição. Você pode editar o artigo conforme necessário e publicá-lo.

      Para obter informações completas sobre como editar e publicar um artigo, consulte a ajuda geração de conhecimento.

  5. Você pode alternar a maneira como visualiza esses dados. A visualização padrão é por categoria. Clique em Agrupar por para alterar o agrupamento de Categoria para uma das seguintes opções:

    • Contato Master

    • Equipe

    • Competência

    • Identificação do agente

    Os dados reaparecem com base no novo agrupamento.

Exibindo dados sobre Consultas de agentes

Agente Consultas exibe informações sobre as respostas da base de conhecimento geradas sob demanda com base nas perguntas dos agentes. Ele fornece gráficos que mostram o status das consultas diretas e as pontuações de adesão.

  1. Clique no cabeçalho do gráfico, Agente Consultas, para detalhar as estatísticas. O primeiro gráfico mostra a porcentagem de respostas e nenhuma resposta ao longo do tempo. O segundo gráfico exibe os detalhes por categoria.

  2. Você pode alternar a exibição de diferentes status de resposta clicando nas legendas.

  3. Clique em Números absoluto ou Porcentagem para alternar entre porcentagens e números absolutos.

  4. Clique em Maximizar para visualizar o gráfico em tela cheia.

  5. Role para baixo para ver os dados agrupados por categorias. A exibição Categorias organiza as respostas da base de conhecimento em diferentes categorias, oferecendo uma abordagem estruturada para análise. Cada categoria apresenta:

    • Total volume de respostas

    • Número e média de não respostas

    • Número médio de links e imagens fornecidos

    • Pontuação média de conhecimento (pontuação atribuída pela base de conhecimento)

  6. Clicar em uma categoria revela as consultas específicas e seus detalhes, como:

    • consulta do agente enviada ao Base de Conhecimento

    • Resposta à consulta do agente

    • Número de links e imagens fornecidos

    • Data e hora da resposta

    • A pontuação média de conhecimento

exibindo dados sobre AutoSummary Consultas

AutoSummary fornece uma visão abrangente do desempenho resumido. Você pode ver gráficos que acompanham o desempenho ao longo do tempo, com dados agrupados por intenção e competência. Tabelas detalhadas exibem resumos sugeridos ao lado de resumos reais, completos com pontuações de adesão para avaliar a precisão. Para obter detalhes mais abrangentes, você pode reproduzir interações específicas, o que lhe dará uma visão completa de como os resumos são gerados e usados em conversas reais.

  1. Clique no título do gráfico, AutoSummary para detalhar as estatísticas.

    • O primeiro gráfico mostra a porcentagem de resumos que foram usados ao longo do tempo. Resumos são identificados como sendo usados de uma das seguintes maneiras: Como estão, revisados, com pequenas revisões e ignorados.

    • O segundo gráfico exibe os detalhes Por intenção.

    • O terceiro gráfico exibe os detalhes Por competência.

    • O quarto gráfico exibe os detalhes Por equipe.

    Você pode alternar a exibição de diferentes status de resposta clicando nas legendas.

  2. Clique em Números absoluto ou Porcentagem para alternar entre porcentagens e números absolutos.

  3. Clique em Maximizar para visualizar o gráfico em tela cheia.

  4. Role para baixo para ver os dados agrupados por categorias. A exibição Categorias organiza as respostas da base de conhecimento em diferentes categorias, oferecendo uma abordagem estruturada para análise. Cada categoria apresenta:

    • Total volume de respostas

    • Número e média de não respostas

    • Número médio de links e imagens fornecidos

    • Pontuação média de conhecimento (pontuação atribuída pela base de conhecimento)

  5. Clicar em uma categoria revela as consultas específicas e seus detalhes, como:

    • consulta do agente enviada para a base de conhecimento

    • Resposta à consulta do agente

    • Número de links e imagens fornecidos

    • Data e hora da resposta

    • Pontuação média de conhecimento

Como líder de CX, Mark quer usar o Observability Dashboard para identificar lacunas de conhecimento na base de conhecimento. Ele percebe que muitas sugestões da base de conhecimento estão sendo modificadas ou ignoradas. Mark clica em Respostas da base de conhecimento para visualizar os dados por categoria. Ele se concentra em categorias com baixas pontuações médias de adesão, indicando desalinhamento entre sugestões e respostas reais. Ao expandir categorias de baixa pontuação, como Cobrança e Pagamentos, Mark vê baixa adesão a consultas sobre planos de pagamento e políticas de reembolso, sugerindo lacunas de conhecimento nessas áreas.

Por meio do Observability Dashboard, Mark pode identificar tópicos que precisam de aprimoramentos na base de conhecimento. Ele pode então trabalhar com a equipe da base de conhecimento para resolver essas lacunas, melhorando a qualidade das sugestões para melhores interações com os clientes.

Autopilot Knowledge

O Observability Dashboard de Autopilot Knowledge mostra dados sobre como seu sistema automatizado lida com as perguntas dos clientes. Você verá um gráfico que exibe as tendências de desempenho ao longo do tempo. Isso permite que você acompanhe as alterações diariamente, semanalmente ou mensalmente.

  1. Clique no seletor de aplicativos e selecione Actions.

  2. No Actions, clique em Observability Dashboard.

  3. Clique na guia Autopilot Knowledge.

  4. Defina o Intervalo de datas desejado para o painel e clique em Executar consulta.

  5. Clique no rótulo GenAI Desempenho para exibir gráficos detalhados sobre as respostas:

    • Hora extra gráfico: Rastreia o número de respostas bem-sucedidas e não respostas.

    • Por categoria gráfico: Identifica áreas de pontos fortes e fracos, agrupadas por categoria.

    Você pode personalizar a aparência dos dados nos gráficos:

    • Para alternar entre porcentagens e números absolutos, clique em Números absolutos ou Porcentagem .

    • Para visualizar o gráfico em tela cheia, clique em Maximizar .

    • Para alternar a exibição de diferentes status de resposta, clique nas legendas Resposta ou Sem resposta nos gráficos.

  6. Rolagem para baixo abaixo dos gráficos para ver os dados agrupados por Intenção. A visão Intenção organiza os resumos em diferentes categorias, oferecendo uma abordagem estruturada para a análise. Cada intenção apresenta:

    • A intenção do resumo

    • Número e média de resumos

    • Adesão média e pontuação atribuída

  7. Para ver as consultas específicas e seus detalhes, clique em uma categoria, como:

    • Resumo sugerido

    • Resumo real

    • Percentual e status de Adesão

    • Data e hora do resumo

Autopilot

O Observability Dashboard de Autopilot mostra como sua base de conhecimento é capaz de lidar com as perguntas dos clientes. Use este painel para procurar áreas onde você pode adicionar mais artigos à sua base de conhecimento ou personalizar os artigos para responder melhor às perguntas dos clientes.

  1. Clique no seletor de aplicativos e selecione Actions.

  2. No Actions, clique em Observability Dashboard.

  3. Clique na guia Autopilot.

  4. Defina o Intervalo de datas desejado para o painel e clique em Executar consulta.

  5. Clique no rótulo GenAI Desempenho para exibir detalhes sobre as perguntas feitas e os artigos fornecidos para o período especificado.

    Dois gráficos são exibidos:

    • Hora extra gráfico: mostra o número de respostas bem-sucedidas e nenhuma resposta durante o período de tempo. Uma resposta indica que o usuário viu um artigo. Uma ausência de resposta indica que nenhum artigo correspondente foi encontrado.

    • Por categoria gráfico: mostra o número de respostas bem-sucedidas e não respostas por categorias.

    Você pode personalizar a aparência dos dados nos gráficos:

    • Para alternar entre porcentagens e números absolutos, clique em Números absolutos ou Porcentagem .

    • Para visualizar o gráfico em tela cheia, clique em Maximizar .

    • Para alternar a exibição de diferentes status de resposta, clique nas legendas Resposta ou Sem resposta nos gráficos.

  6. Rolagem para baixo abaixo dos gráficos para ver uma tabela que fornece detalhes sobre as consultas. As consultas são agrupadas por categorias.

  7. Clicar em uma categoria revela as consultas específicas e as respostas fornecidas. Use isso para identificar áreas em que pode estar faltando artigos em sua base de conhecimento.