Painel de observabilidade

O Painel de observabilidade permite examinar os recursos de IA empregados pelo the Agent Copilot e Autopilot Knowledge. Ele fornece insights abrangentes sobre o desempenho do Respostas generativo, do agente Copilot das consultas e do AutoSummary , permitindo que você identifique áreas de melhoria e otimize suas operações.

Usar o Painel de observabilidade

  1. Clique no seletor de aplicativos e selecione Actions .

  2. No Actions, clique em Painel de observabilidade.

  3. Você pode escolher entre Copilot e Autopilot Knowledge dependendo dos aplicativos disponíveis em seu locatário.

  4. Nos filtros Intervalo de datas, selecione o período desejado para analisar os dados.

  5. Por Copilot, você pode selecionar o tipo de interação em Channel. Escolha exibir detalhes de interações de voz, interações de bate-papo ou Tudo.

  6. Clique em Executar consulta para recuperar os dados.

Copilot

Em Copilot O Painel de observabilidade fornece informações sobre:

Respostas generativa

As respostas generativas são respostas geradas automaticamente durante as chamadas.

Usando o Respostas generativo

  1. Clique no título do gráfico, Generative Respostas, para detalhar as estatísticas. O primeiro gráfico mostra a porcentagem de respostas que foram usadas, modificadas, ignoradas ou resultaram em nenhuma resposta ao longo do tempo. O segundo gráfico exibe os detalhes por categoria.

    Você pode alternar a exibição de diferentes status de resposta clicando nas legendas.

  2. Clique em Números absoluto para alternar entre porcentagens e números absolutos.

  3. Clique em Maximizar para exibir os dados em um formato tabular.

  4. Rolagem para baixo para ver os dados agrupados por categorias. A exibição Categorias organiza as respostas da base de conhecimento em diferentes categorias, oferecendo uma abordagem estruturada para análise. Cada categoria apresenta:

    • Total volume de respostas da base de conhecimento

    • Escore médio de adesão

    • Número médio de links e imagens fornecidos

    • Pontuação média de conhecimento (pontuação atribuída pela base de conhecimento)

  5. Clicar em uma categoria revela as consultas específicas e seus detalhes, como:

    • Consulta enviada ao Base de Conhecimento

    • Resposta sugerida da base de conhecimento

    • Resposta real do agente

    • Número de links e imagens fornecidas

    • Escore de adesão (a semelhança entre a resposta sugerida e a resposta real)

    • Deslocamento do início da interação. Clique Rodar Interação para ouvir o áudio da interação (se disponível).

Consultas Copilot do agente

O Agent Copilot Queries exibe informações sobre as respostas da base de conhecimento geradas sob demanda com base nas perguntas dos agentes. É semelhante à seção Respostas Gerativa, com gráficos mostrando o status das consultas diretas e pontuações de adesão.

Usando consultas de Copilot do agente

  1. Clique no título do gráfico, Agent Copilot para detalhar as estatísticas. O primeiro gráfico mostra a porcentagem de respostas e nenhuma resposta ao longo do tempo. O segundo gráfico exibe os detalhes por categoria.

    Você pode alternar a exibição de diferentes status de resposta clicando nas legendas.

  2. Clique em Números absoluto ou Porcentagem para alternar entre porcentagens e números absolutos.

  3. Clique em Maximizar para visualizar o gráfico em tela cheia.

  4. Role para baixo para ver os dados agrupados por categorias. A exibição Categorias organiza as respostas da base de conhecimento em diferentes categorias, oferecendo uma abordagem estruturada para análise. Cada categoria apresenta:

    • Total volume de respostas

    • Número e média de não respostas

    • Número médio de links e imagens fornecidos

    • Pontuação média de conhecimento (pontuação atribuída pela base de conhecimento)

  5. Clicar em uma categoria revela as consultas específicas e seus detalhes, como:

    • consulta do agente enviada ao Base de Conhecimento

    • Resposta à consulta do agente

    • Número de links e imagens fornecidos

    • Data e hora da resposta

    • Pontuação média de conhecimento

Auto Resumo

AutoSummary fornece uma visão abrangente do desempenho resumido. Você pode ver gráficos que acompanham o desempenho ao longo do tempo, com dados agrupados por intenção e competência. Tabelas detalhadas exibem resumos sugeridos ao lado de resumos reais, completos com pontuações de adesão para avaliar a precisão. Para obter detalhes mais abrangentes, você pode reproduzir interações específicas, que lhe darão uma imagem completa de como os resumos são gerados e usados em conversas reais.

Usando AutoSummary consultas

  1. Clique no título do gráfico, AutoSummary para detalhar as estatísticas. O primeiro gráfico mostra a porcentagem de resumos que foram usados, como estão, Revised, com pequenas revisões e ignorados, ao longo do tempo. O segundo gráfico exibe os detalhes por intenção, o terceiro gráfico por Competência e o quarto gráfico por equipe.

    Você pode alternar a exibição de diferentes status de resposta clicando nas legendas.

  2. Clique em Números absoluto ou Porcentagem para alternar entre porcentagens e números absolutos.

  3. Clique em Maximizar para visualizar o gráfico em tela cheia.

  4. Role para baixo para ver os dados agrupados por categorias. A exibição Categorias organiza as respostas da base de conhecimento em diferentes categorias, oferecendo uma abordagem estruturada para análise. Cada categoria apresenta:

    • Total volume de respostas

    • Número e média de não respostas

    • Número médio de links e imagens fornecidos

    • Pontuação média de conhecimento (pontuação atribuída pela base de conhecimento)

  5. Clicar em uma categoria revela as consultas específicas e seus detalhes, como:

    • consulta do agente enviada ao Base de Conhecimento

    • Resposta à consulta do agente

    • Número de links e imagens fornecidos

    • Data e hora da resposta

    • Pontuação média de conhecimento

Como líder de experiência do cliente, Mark quer usar o Painel de observabilidade para identificar lacunas de conhecimento na Base de conhecimento. Ele percebe que muitas sugestões da Base de conhecimento estão sendo modificadas ou ignoradas. Mark clica em Respostas da base de conhecimento para visualizar os dados por categoria. Ele se concentra em categorias com baixas pontuações médias de adesão, indicando desalinhamento entre sugestões e respostas reais. Ao expandir categorias de baixa pontuação, como Cobrança e Pagamentos, Mark vê baixa adesão a consultas sobre planos de pagamento e políticas de reembolso, sugerindo lacunas de conhecimento nessas áreas.

Por meio do Painel de observabilidade, Mark pode identificar tópicos que precisam de melhorias na Base de conhecimento. Em seguida, ele pode trabalhar com a equipe da Base de conhecimento para abordar essas lacunas, melhorando a qualidade das sugestões para melhores interações com o cliente.

Autopilot Knowledge

A seção Autopilot Knowledge permite que você visualize o desempenho ao longo do tempo. Ele mostra como seu sistema automatizado lida bem com as perguntas dos clientes. Você verá um gráfico que exibe as tendências de desempenho ao longo do tempo. Isso permite que você acompanhe as alterações diariamente, semanalmente ou mensalmente.

Usando Autopilot Knowledge

  1. No gráfico Ao longo do tempo você pode acompanhar o número de respostas bem-sucedidas e não respostas. No gráfico Por categoria os dados são agrupados por categoria para ajudá-lo a identificar áreas de força e fraqueza.

    Você pode alternar a exibição de diferentes status de resposta clicando nas legendas.

  2. Clique em Números absoluto ou Porcentagem para alternar entre porcentagens e números absolutos.

  3. Clique em Maximizar para visualizar o gráfico em tela cheia.

  4. Rolagem para baixo para ver os dados agrupados por intenção. A visão Intenção organiza os resumos em diferentes categorias, oferecendo uma abordagem estruturada para a análise. Cada intenção apresenta:

    • A intenção do resumo

    • Número e média de resumos

    • Adesão média e pontuação atribuída

  5. Clicar em uma categoria revela as consultas específicas e seus detalhes, como:

    • Sugestão Resumo

    • Actual Resumo

    • Percentual e status de Adesão

    • Data e hora do resumo