Analise e melhore o robô

Esta página fornece informações sobre como analisar os dados de conversas no CXone Bot Builder para melhorar o desempenho do robô. Esta é a quinta etapa no processo de implementação do robô.

Depois que você tiver configurado e iniciado os testes dos casos de uso inicial do robô, o Bot Builder disporá de dados que você poderá utilizar para examinar a eficiência das configurações em vigor. Inicialmente, os dados se originam nas conversas de teste com o robô. Posteriormente, depois que o robô for liberado para a produção, os dados incluirão conversas ao vivo com os contatos.

Ao analisar estes dados, você poderá identificar aspectos em que o desempenho do robô pode ser melhorado. O desempenho de um robô é indicado pela precisão das previsões que ele faz acerca das intenções. Caso o robô preveja incorretamente uma intenção, será mais difícil aos contatos alcançar as suas metas.

Glossary

Conceito	Definição	Exemplo	O que o bot faz
Enunciado	Qualquer coisa que um contato diz em uma interação. Às vezes chamado de mensagem.	"Perdi minha senha." "Qual é o meu saldo?" "Você é um robô?"	O bot usa Entendimento de linguagem natural (NLU, na abreviação em inglês) para analisar cada enunciado do contato e determinar seu significado ou intenção.
Intenção	O que o contato deseja comunicar ou realizar. Toda mensagem que o contato envia tem uma intenção.	"Perdi minha senha" tem a intenção de "redefinir senha". "Olá" tem a intenção de "saudar".	O bot analisa uma mensagem de contato usando NLU Esse processo se expande no Processamento de Linguagem Natural (PLN) para tomar decisões ou agir com base no que ele entende. para determinar a intenção. Uma vez que esta é determinada, o bot pode responder com sua própria mensagem. Você configura a resposta que quer que o bot use para cada intenção.
Entidade	Uma parte de informação definida na mensagem de um contato.	Nome da pessoa ou produto, número de telefone, número da conta, localização e assim por diante.	O bot usa NLU para identificar entidades em uma mensagem de um contato. Entidades ajudam o bot a entender o que a significa a mensagem do contato.
Slot	Uma entidade extraída da mensagem de um contato e salva para uso em respostas de bot. Semelhante a uma variável.	Criar um slot para o nome do contato permite que o bot use esse nome nas respostas durante uma interação, tornando-o mais pessoal.	Quando configurado de tal forma, o bot extrai uma entidade de uma mensagem de contato e a salva em um slot. Você pode fazer com que o bot use esta informação mais tarde na conversa.
Regra	Define a resposta de um bot a mensagens que não mudam com o contexto.	Interações de turno único com respostas fixas: Qual é o seu horário? Qual é o seu endereço? Blocos de construção de conversas: saudações, adeus, agradecimentos e transições; perguntas simples de sim/não; e confirmações. O CXone Bot Builder vem com intenções e regras padrão para vários deles, incluindo saudações, solicitações de transferência Qualquer mensagem de contato que deve desencadear transferência para um agente ao vivo e muito mais. Perguntas frequentes Insultos e desafios clássicos de bot	Regras são uma de duas formas de se configurar como o bot responde a uma intenção. Regras são úteis para alguns tipos de intenções, mas não para todas.
História	Treina um bot para lidar com uma interação com base na intenção da mensagem e contexto de conversação.	Em uma interação sobre uma senha esquecida, o bot responderia a "Como faço isso?" de determinada maneira. Se a interação fosse sobre a criação de uma nova conta, a resposta seria bem diferente, embora em ambos os casos o contato esteja usando as mesmas palavras com a mesma intenção - para obter mais informações.	Histórias são a segunda forma de se configurar como o bot responde a uma intenção. Histórias ensinam ao bot como usar o contexto da conversa para responder adequadamente.
Ação de bot	Qualquer coisa que um bot diga ou faça enquanto lida com uma interação.	Em uma interação sobre uma senha esquecida, o bot responderia enviando um link para um FAQ sobre redefinição de senha no site. Quando um contato expressa frustração, como ao dizer "Eu não entendo! Não está funcionando!!!" O bot responde com "Me desculpe. Gostaria de ser transferido para um agente humano?" Quando o contato diz sim, o bot inicia a transferência.	Ações são as opções que você tem ao definir como quer que o bot responda a cada intenção. Elas lhe dão flexibilidade para configurar cada resposta de forma a atingir o objetivo que atenda às necessidades do contato.

Analisar os dados de conversas

É possível analisar todas as conversas nas quais o robô se envolveu. Isso permite verificar em primeira mão como o robô responde, onde ele encontrou dificuldades, assim como a maneira que os contatos interagem com o robô e quaisquer problemas que eles possam vir a ter. Estas informações são valiosas, já que podem ser utilizadas para melhorar as intenções O significado ou propósito por trás do que um contato diz/digita; o que o contato quer comunicar ou alcançar. do robô, as regras Usado para definir a resposta do bot a mensagens que não mudam com o contexto. e as histórias Usado para treinar bot para manipulação de interação com base na intenção e contexto.

As seguintes opções do Bot Builder permitem analisar os dados de conversas:

Insights: Fornece relatórios e análises interativas em tempo real para seus bots:
Caixa de entrada NLU: Ajuda você a gerenciar seus dados de NLU Esse processo se expande no Processamento de Linguagem Natural (PLN) para tomar decisões ou agir com base no que ele entende. para melhorar a qualidade do seu bot. Ela mostra todas as novas mensagens dos contatos.
Pesquisa de consultas: Use a barra de pesquisa para restringir os resultados na caixa de entrada NLU ou na seção Insights.

Avaliar as intenções

A avaliação e os ajustes das intenções podem ser úteis para converter os desafios em soluções quando se modificam as respostas do seu robô. Embora você não possa atender a todos os comportamentos do usuário, você pode abordar os pontos comuns de atrito ou frustração.

À medida em que você analisa as conversas, avalie os dados de intenções, para ver se estas são efetivas e eficientes. O contato atinge o resultado desejado com facilidade? Caso contrário, determine se as intenções não são suficientemente específicas, demasiadamente específicas ou se os dados do treinamento são inadequados:

O robô compreende adequadamente o que o contato quer? Caso contrário, adicione outros exemplos de treinamento às intenções nas quais o robô estiver inseguro.
Algumas das intenções são suficientemente similares a ponto de serem consideradas idênticas? Nesse caso, considere combiná-las em uma intenção mais genérica e utilizar os exemplos para treinar o robô, de modo que ele reconheça as diferentes situações.
Os contatos estão dizendo coisas que não são tratadas pelas intenções existentes? Em caso afirmativo, considere adicionar outras intenções ou dados de treinamento às intenções em vigor.

Refinar as respostas do robô

O Bot Builder conta com recursos que podem auxiliá-lo a melhorar o desempenho do seu robô. É possível que o seu primeiro conjunto de intenções, histórias e regras não tenha tirado proveito destes recursos. À medida em que você se esforça por melhorar como o robô responde, é possível que os seguintes recursos sejam úteis:

Examine as suas respostas para saber se poderia utilizar outras ações nas respostas do robô, tornando a resposta mais eficiente, de aspecto humano ou de fácil utilização.
Considere se qualquer uma das intenções poderia conter intenções múltiplas. As intenções múltiplas são úteis quando o contato combina duas intenções em uma declaração. Por exemplo: quando o contato diz Obrigado. Até logo como uma única mensagem para o robô, está combinando a intenção de agradecimento com a de despedida.
Identifique as trajetórias infelizes História que produz um resultado errado para a intenção que correspondem às trajetórias felizes que já foram mapeadas em suas intenções, se você ainda não tiver feito isso. Planeje como irá lidar com elas e, em seguida, adicione histórias ou regras conforme a necessidade, juntamente com os exemplos de treinamento pertinentes.
Considere as lacunas envolvendo entidades ou slots. As entidades são informações coletadas em uma conversa. Os slots são como as variáveis, podendo armazenar as entidades coletadas.
Determine se será necessário um formulário para simplificar o processo de coleta de informações do contato, para que se possa preencher os slots. O robô pode seguir um formulário para fazer perguntas e coletar informações do contato. Também é possível configurar um robô para que exiba o formulário ao contato.
Configure outras opções nas respostas do robô, como mensagens avançadas, variações de mensagens dos robôs, digitação inteligente, substituições e redes de segurança.

Situações em que se pode aprimorar o robô

Durante a revisão, você pode tomar medidas para ensinar o robô a ter um desempenho ainda melhor em conversas futuras. A lista a seguir descreve situações que requerem melhorias e o que você pode fazer:

Confiança baixa na classificação de intenção: se a classificação da intenção estiver correta mas a confiança do robô for baixa, adicione mais dados de treinamento para a intenção, para tornar o robô mais confiante. Os dados de treinamento incluem exemplos de intenções e histórias. Se a classificação da intenção não estiver correta, altere-a.
Confiança baixa na previsão de ação do bot: Adicione mais dados de treinamento para deixar o bot mais confiante sobre qual ação ele deve tomar nessa situação.
Frustração do usuário: Isso pode incluir pedidos de transferência para um humano (handover Qualquer mensagem de contato que deve desencadear transferência para um agente ao vivo), repetir o que já foi dito anteriormente ou insultos. Adicione mais dados de treinamento sobre o problema ou ajuste o limite de confiança NLU no fallback. Isso pode dizer ao seu bot para usar o handover mais cedo se não tiver certeza de como ajudar o usuário.
Intenção “Out_of_scope” ou comportamento de fallback: Isso pode incluir um usuário pedindo algo que seu bot não é capaz de fazer, ou seu bot usando fallback muito cedo. Verifique e corrija quaisquer intenções classificadas incorretamente para verificar se seu bot simplesmente não entendeu mal a situação. Adicione uma nova história ou regra para mostrar ao seu bot o que fazer da próxima vez.

Substituições e redes de segurança

À medida em que você analisa e aprimora o robô, começará a identificar aspectos em que os contatos poderão se sentir frustrados com o robô. Este é o momento de se incluir substituições e redes de segurança no robô.

Substituição: isso ensina o robô o que fazer quando ele não tiver certeza sobre como proceder. Existem dois tipos de substituição:
- Substituição de NLU: quando o robô não estiver certo de compreender o contato.
- Substituição de ação: quando o robô não tiver confiança em sua capacidade de prever a ação seguinte.
Rede de segurança: uma rede de segurança permite configurar o que ocorrerá quando houver outro problema envolvendo o robô ou os sistemas aos quais ele se conecta. Isso pode incluir uma resposta ao contato mais demorada do que o normal por parte do robô.

Além disso, este também é o momento de se assegurar de que haja trajetórias fora de propósito, de modo que o robô possa responder às mensagens de contatos que estiverem fora de sua alçada.