Testes de comportamento

Testes de comportamento StandardBot permitem que você verifique como o seu agente virtual de texto ou voz demonstra os comportamentos essenciais. Você pode executar todos os testes usando o script de teste StandardBot. Atualmente, o script de exemplo testa todos os comportamentos para agentes virtuais de texto e alguns comportamentos para agentes virtuais de voz.

Testes do StandardBot funcionam ao fazer o script enviar um gatilho ao agente virtual. O agente virtual é configurado para responder a cada gatilho de uma maneira específica. O script é definido para analisar e identificar partes da resposta do agente virtual. Se a resposta não contiver o que o script está procurando, o agente virtual não é aprovado no teste. Se contiver, o agente virtual passa no teste.

Os gatilhos são exclusivos aos testes StandardBot. Como padrão, eles são diferentes das palavras e intenções automatizadas aos quais o seu agente virtual é treinado para responder em um ambiente de produção. Os gatilhos padrão de teste StandardBot muito provavelmente jamais serão usados por contatos. Por exemplo, debugStandardBotExchange e debugStandardBotScriptPayload são duas das frases gatilho padrão no script. Por causa disso, é seguro usar os testes StandardBot em um ambiente de produção.

Categorias de teste

Há dois tipos de teste StandardBot:

Critérios de aprovação

Além de gatilhos e respostas, cada teste StandardBot possui critérios que devem ser atendidos para que o teste seja bem-sucedido. Para ser aprovado em um teste, o agente virtual deve retornar a resposta correta. Para vários dos testes, esta resposta difere de uma resposta que o agente virtual enviaria em uma interação em tempo real. Isto significa que você pode ter certeza de que o agente virtual passou cada um dos testes.

Por exemplo, para ser aprovado no teste Bot Exchange, um agente virtual deve retornar a frase bot response. Esta não é uma frase que um agente virtual enviaria normalmente durante uma interação. Ela é específica e exclusiva ao teste Bot Exchange. É assim que você pode saber que esta é a resposta correta ao teste.

Preparação para testes StandardBot

Antes de poder executar testes do StandardBot no seu agente virtual, você deve:

  • Atualizar o seu agente virtual para a versão de integração 3.0 do Hub de Agente Virtual, se ele ainda não estiver usando esta versão.

  • Anotar o nome do agente virtual que está testando. O nome é usado como o ID do agente virtual em scripts Studio. Você precisa desta informação para configurar o script de teste. Você pode encontrá-la no aplicativo do agente virtual no Hub de Agente Virtual. Por exemplo, na imagem a seguir, o nome do agente virtual é MS6628.

    A página de propriedades do agente virtual no Hub de Agente Virtual CXone, mostrando o nome do agente virtual debaixo do Nome do agente virtual (bot).

  • Treinar o seu agente virtual para responder às palavras de gatilho, frases e intenções automatizadas usadas nos testes. Consulte a documentação do seu provedor de agente virtual para informações sobre como treinar o seu agente virtual.

  • Baixar e instalar o script StandardBot.

Converter na versão de integração 3.0

Todos os novos agentes virtuais que você adicionar devem ser criados usando a versão de integração 3.0. Para agentes virtuais existentes, a conversão para a versão de integração 3.0 é opcional. No entanto, se não fizer a conversão, você não poderá usar o StandardBot com o agente virtual.

Se estiver convertendo para a versão de integração 3.0 a partir de uma versão anterior, a compatibilidade entre suas configurações, script e a versão de integração 3.0 é desconhecida. Para evitar interrupções inesperadas no serviço de agente virtual da sua organização, é melhor verificar a atualização em um ambiente de teste antes de converter o seu ambiente de produção.

Você pode usar os testes do StandardBot para determinar se há algum problema na conversão para a nova versão e quais são esses problemas. As etapas abaixo descrevem uma abordagem possível para uma conversão:

  1. Clone o aplicativo de agente virtual no Hub de Agente Virtual que você quer converter.
  2. Clique na versão clonada do aplicativo no Hub de Agente Virtual.
  3. Na página Propriedades, selecione 3.0 no campo Versão de integração.
  4. Clique em Salvar.
  5. No console de gerenciamento do seu provedor de agente virtual, adicione os comportamentos do StandardBot ao agente virtual que você está convertendo. Isso inclui as intenções automatizadas e as palavras de gatilho.
  6. Execute os testes do StandardBot na versão clonada do aplicativo usando o script StandardBot adequado no Studio.
  7. Anote tudo o que falhar. Essas são as configurações ou locais do agente virtual no script que você precisa abordar antes de converter sua versão de produção.
  8. Corrija quaisquer problemas com seu script e configurações. As correções podem envolver alterações no console do seu provedor de agente virtual, nas configurações no Hub de Agente Virtual ou no script do Studio.
  9. Execute os testes do StandardBot e seu script clonado novamente.
  10. Repita essas etapas até que seu agente virtual passe em todos os testes e seu script do Studio se comporte conforme o esperado.
  11. Quando seu agente virtual passar em todos os testes, você poderá copiar as correções para sua versão de produção. Se você teve que fazer grandes alterações em suas configurações e script, talvez queira usar a versão de teste atual como sua nova versão de produção.

Converter para Código assíncrono do Hub de Agente Virtual

Código assíncrono...

Para converter a sua instância do Hub de Agente Virtual em código assíncrono, você precisa da ajuda do seu Representante de Contas do CXone. Ela deve primeiro ser ativada em um sistema de teste CXone. Desta forma, qualquer problema que puder ocorrer como resultado da troca pode ser resolvido antes de ativá-la no seu sistema de produção.

Configurar e treinar seu agente virtual

Você deve treinar o seu agente virtual para reconhecer as palavras de gatilho, frases e intenções automatizadas usadas nos testes StandardBot. Esta é a única forma dos testes funcionarem. Se o agente virtual não reconhecer um gatilho como algo que precisa ser respondido de uma forma específica, ele não responderá adequadamente e o teste será inválido. Consulte a documentação do seu provedor de agente virtual para saber como treinar o seu agente virtual.

O script do StandardBot é configurado para usar um conjunto padrão de gatilhos. Se quiser usar gatilhos diferentes, você precisará alterar a configuração do script, bem como treinar o seu agente virtual a responder aos novos gatilhos. Os gatilhos padrão e as respostas para cada teste são descritos na página da ajuda Comportamentos essenciais.

Configurar o script StandardBot

Antes de usar o script StandardBot, você deve personalizá-lo. Isso inclui adicionar o nome do agente virtual e um endereço de e-mail onde você quer receber o relatório de resultado.

  1. Baixe e importe o script StandardBot para o Studio e salve-o.
  2. Clique duas vezes na ação Snippet com o rótulo Declare Objects & Set Bot to Test.
  3. Clique na guia Text View na janela Snippet Editor
  4. Se quiser que o relatório do teste seja enviado para um endereço de e-mail, localize a variável ReportEmail. Altere o valor para o endereço de e-mail no qual quer receber o relatório. O valor deve ser colocado entre aspas duplas. Se não adicionar um endereço de e-mail, você pode verificar os resultados do teste no rastreamento de script.
  5. Configure o script com o nome do agente virtual que está testando:
    1. Altere o valor de BotsList[1].BotName para o nome do agente virtual que está testando. Você pode encontrar este nome no Hub de Agente Virtual, conforme descrito na seção Preparação para testes StandardBot nesta página. Por exemplo, BotsList[1].BotName = "MS6628"
    2. Se tiver mais de um agente virtual que quer testar com este script, remova os caracteres de comentário ( // ) da frente da próxima instrução ASSIGN. Adicione o nome de outro agente virtual como o valor. Por exemplo, // ASSIGN BotsList[2].BotName = "StandardBot_DialogFlow_ES" viraria ASSIGN BotsList[2].BotName = "GDF2123".
  6. Configure qual agente virtual você quer que o script teste:
    1. Se o script estiver definido para testar apenas um agente virtual, não altere o valor da variável BotToTest. Ele não deve conter nenhum texto ou espaço dentro das aspas duplas. Por exemplo, BotToTest = "".
    2. Se o script estiver definido para testar mais de um agente virtual e você quiser executar testes em todos eles, não altere o valor da variável BotToTest. Ele não deve conter nenhum texto ou espaço dentro das aspas duplas. Por exemplo, BotToTest = "".
    3. Se o script estiver definido para testar mais de um agente virtual mas você quer executar o teste em apenas um deles, altere o valor de BotToTest para o valor de índice do agente virtual no objeto BotsList. Por exemplo, para testar o agente virtual GDF2123 da etapa anterior, insira 2 como o valor para BotToTest.

  7. Configurar quais testes o script executa. Modifique o valor de testPath para um dos seguintes, se necessário. O padrão é testAll. As opções são:

    • testAll: use este valor se quiser que o script execute todos os testes StandardBot. Esta opção executa o teste Encerrar conversa mas não o teste Escalação.

    • EscalationPath: use este valor se quiser que o script execute o teste de Escalação. Isto testa a capacidade do agente virtual de transferir uma interação para um agente em tempo real.

  8. Clique em OK para fechar a janela Snippet editor.
  9. Clique em Fechar na janela TextBot Exchange. Isto adiciona o seu agente virtual (ou agentes virtuais) selecionado(s) à ação Textbot Exchange
  10. Salve o seu script.

Personalizar o script StandardBot

Para a maioria dos testes, não é preciso personalizar o script do StandardBot. O teste de Intenção automatizada exige que você modifique o script para que ele possa testar as intenções automatizadas que usa no seu script. Você também pode seguir estes passos para modificar outros testes, se necessário.

Se fizer alterações nos valores do teste no script, será necessário usar os mesmos valores ao configurar o seu agente virtual. Se fizer a alteração em apenas um lugar, o teste não funcionará.

O script digital StandardBot
Testar Detalhes
Teste 1 - Intenção de boas-vindas

Modificar aqui:

Snippet Config test data, objeto TestData

Snippet Evaluate Results, instrução SWITCH CurrentTest, CASE 1

Entrada padrão:

 AutoIntent = "Bem-vindos"

Critérios de aprovação padrão:

IF nextprompt.contains('hello world')

Teste 2 - StandardBot Exchange

Modificar aqui:

Snippet Config test data, objeto TestData

Snippet Evaluate Results, instrução SWITCH CurrentTest, CASE 2

Entrada padrão: UserInput = "debugStandardBotExchange"

Critérios de aprovação padrão:

IF nextprompt.contains('bot response') && BotIntent.contains('StandardBotExchange')

Teste 3 - Várias mensagens

Modificar aqui:

Snippet Config test data, objeto TestData

Snippet Evaluate Results, instrução SWITCH CurrentTest, CASE 3

Entrada padrão: 

UserInput = "debugStandardBotMultipleMessages "

Critérios de aprovação padrão:

IF transcriptString.contains("um") && transcriptString2.contains("dois") && transcriptString3.contains("três")
Teste 4 - Mensagens em texto avançado

Modificar aqui:

Snippet Config test data, objeto TestData

Snippet Evaluate Results, instrução SWITCH CurrentTest, CASE 4

Entrada padrão: 

UserInput = "debugStandardBotDfoMessage"

Critérios de aprovação padrão:

IF transcriptString.contains('dfomessage":') && transcriptString2.contains('type":') && transcriptString.contains('payload":')
Teste 5 - Entrada do usuário não entendida

Modificar aqui:

Snippet Config test data, objeto TestData

Snippet Evaluate Results, instrução SWITCH CurrentTest, CASE 5

Entrada padrão:

UserInput = "Gobblygook"

Critérios de aprovação padrão:

IF (BotIntent= "userinputnotunderstood") && BotDiagnostics.contains('userinputnotunderstood')
Teste 6 - Limite de tempo da entrada do usuário

Modificar aqui:

Snippet Config test data, objeto TestData

Snippet Evaluate Results, instrução SWITCH CurrentTest, CASE 6

Entrada padrão: 

AutoIntent= "SILENCEStandardBotUserInputTimeout"

Critérios de aprovação padrão:

IF (BotIntent = "userinputtimeout") && BotDiagnostics.contains('userinputtimeout')
Teste 7 - Carga útil personalizada ao script

Modificar aqui:

Snippet Config test data, objeto TestData

Snippet Evaluate Results, instrução SWITCH CurrentTest, CASE 7

Entrada padrão:

UserInput = "debugStandardBotScriptPayload"

Critérios de aprovação padrão:

IF transcriptString.contains('metadados":"do seu script') && transcriptString2.contains('integervalue":"4') && transcriptString3.contains('1","2","3","4')
Teste 8 - Carga útil personalizada ao agente virtual

Modificar aqui:

Snippet Config test data, objeto TestData

Snippet Config test data, objeto customInputToBot , qualquer parâmetro echoValue

Snippet Evaluate Results, instrução SWITCH CurrentTest, CASE 8

Entrada padrão: 

UserInput = "debugStandardBotExchangeCustomInput "

CustomPayload = customInputToBotJson

Critérios de aprovação padrão:

IF nextprompt.contains('passing json to bot method')
Teste 9 - Intenção automatizada

Modificar aqui:

Snippet Config test data, objeto TestData

Snippet Evaluate Results, instrução SWITCH CurrentTest, CASE 9

Entrada padrão:

AutoIntent = "StandardBotExchange"

Critérios de aprovação padrão:

IF nextprompt.contains('bot response') && (BotIntent = "standardbotexchange")
Teste 10 - Sobreposição de ramal

Modificar aqui:

Snippet Config test data, objeto TestData

Snippet Evaluate Results, instrução SWITCH CurrentTest, CASE 10

Entrada padrão: UserInput = "debugStandardBotBranchOverride "

Critérios de aprovação padrão:

IF (BotIntent = "overrideintent") && BotDiagnostics.contains('returncontroltoscript')
Teste 11 - Encerrar conversa

Modificar aqui:

Snippet Config test data, objeto TestData

Snippet Evaluate Results, instrução SWITCH CurrentTest, CASE 11

Entrada padrão:

UserInput = "debugStandardBotEndConversation"

Critérios de aprovação padrão:

IF BotDiagnostics.contains('returncontroltoscript')
Teste 12 - Escalação

Modificar aqui:

Snippet Config test data, objeto TestData

Snippet Evaluate Results, instrução SWITCH CurrentTest, CASE 12

Entrada padrão: 

UserInput = "debugStandardBotEscalation"

Critérios de aprovação padrão:

IF BotIntent.contains('escalat') && BotDiagnostics.contains('returncontroltoscript')
  1. No Studio, abra o script StandardBot que deseja personalizar.
  2. Salve uma cópia do script como backup caso precise desfazer suas alterações.
  3. Clique duas vezes na ação Config test data SNIPPET.

  4. Na guia Exibição em texto, desça até a linha DYNAMIC TestData e localize o conjunto de instruções ASSIGN para o teste que está alterando. Este objeto define os valores enviados ao agente virtual para acionar cada teste. Cada teste tem os seguintes parâmetros neste objeto:

    AutoIntent = ""
UserInput = ""
CustomPayload = ""
TestName = ""
TestStatus = ""
TestNumber = ""
    A janela de editor Snippet mostrando o snippet Config de dados de teste com a primeira parte da definição do objeto DYNAMIC TestData cercada por um retângulo.
  5. Modifique qualquer valor que precisar mudar seguindo estas diretrizes:
    • Os parâmetros usados em testes são TestData[#].AutoIntent, TestData[#].UserInput e TestData[#].CustomPayload.
    • Nem todos os parâmetros são usados em cada teste. Os valores padrão para cada teste indicam os parâmetros que ele usa. Você pode adicionar um parâmetro se preciso, mas ele não afetará o resultado do teste a menos que você também configure o seu agente virtual para responder a tal parâmetro.
    • Não é necessário mudar TestData[#].TestStatus. O script automaticamente atualiza este parâmetro quando ele é executado.
    • Para alterar o nome do teste, modifique TestData[#].TestName.
    • Para alterar o rótulo que aparece no relatório ao final do teste, mude TestData[#].TestNumber.
  6. Clique em OK para salvar suas alterações e feche a janela Snippet editor.

  7. Clique duas vezes na ação Evaluate Results SNIPPET.

    Não faça alterações nos valores no objeto TestData neste snippet. O script atualiza estes valores automaticamente. Qualquer alteração que fizer a estes valores será sobreposta quando o script for executado.

  8. Role para baixo até a linha SWITCH CurrentTest. Esta é uma instrução SWITCH, que define uma série de ações diferentes que o script toma dependendo do valor da variável CurrentTest. Esta instrução SWITCH estabelece os critérios para que o script possa determinar se o agente é aprovado em cada teste.

    A janela de editor Snippet mostrando o snippet Config de dados de teste com a primeira parte da instrução SWITCH CurrentTest cercada por um retângulo.
  9. Localize a instrução CASE com o número correspondente ao teste que está alterando. Por exemplo, para modificar os critérios de aprovação para o teste 9, Intenção automatizada, desça até CASE 9.
  10. Na instrução IF dentro da instrução CASE altere o valor das variáveis conforme necessário.
  11. Clique em OK para salvar suas alterações e feche a janela do editor Snippet .
  12. Salvar o script.

Executar testes a partir de um script StandardBot

Você pode testar todos os comportamentos de uma vez usando o script de teste StandardBot. Se ainda não tiver feito isso, configure e treine seu agente virtual e defina o script StandardBot.

  1. No Studio, abra o script StandardBot que quer executar.
  2. Clique em Start with Trace.
  3. Na janela Saída de rastreamento, você pode checar os resultados dos testes.
  4. Desça até o fim dos resultados de rastreamento e clique na última linha, que é para a ação END.

  5. Na guia Variáveis, localize a variável testreportstring e clique duas vezes nela para abrir o conteúdo da variável em uma nova janela. Isto lhe fornece uma visão geral dos resultados de cada teste. Se tiver configurado o script com um endereço de e-mail, uma cópia dos resultados de teste é enviada automaticamente para aquele endereço.

    A janela Saída de rastreamento mostrando os conteúdos da variável tradereportstring, que é o relatório sobre os resultados do teste StandardBot.

Executar um teste StandardBot a partir do Hub de Agente Virtual

Você pode testar a maioria dos comportamentos do painel Teste na página de propriedades do seu aplicativo de agente virtual no Hub de Agente Virtual. Isto funciona para agentes virtuais de voz e texto.

Para saber qual entrada usar e se o agente virtual foi aprovado ou não no teste, você precisa consultar a página da ajuda Comportamentos essenciais. Cada comportamento na página inclui um cabeçalho de teste StandardBot que possui uma tabela de dados. A tabela tem tudo o que você precisa saber para executar o teste manualmente, incluindo uma indicação se o teste suporta ou não uma execução manual.

  1. No CXone, clique no seletor de aplicativos e selecioneOutros > Integrações.
  2. Clique em Hub de Agente Virtual CXone.
  3. Clique no agente virtual que quer testar.
  4. Para comportamentos que acionam a partir de entradas humanas:
    1. Na seção Teste das propriedades do agente virtual selecionado, insira a entrada descrita para o teste que quer executar no campo Digite uma mensagem. Você pode encontrar a informação na linha Entrada de variável para executar o teste no script da tabela de detalhes de teste.
    2. Pressione Enter.
  5. Para comportamentos que acionam a partir de intenções automatizadas:
    1. Na seção Teste das propriedades do agente virtual selecionado, clique em Mais opções Três pontos empilhados verticalmente. ao lado do campo Digite uma mensagem.
    2. Insira a intenção automatizada que você deseja testar. Estas são descritas para cada teste na página da ajuda Comportamentos essenciais. Você pode encontrar as intenções automatizadas na linha Entrada para executar o teste manualmente da tabela de detalhes de teste para comportamentos que têm intenções automatizadas.
    3. Clique em Gatilho.
  6. Observe a resposta do agente virtual na janela de teste do chat. Compare-a com os critérios de aprovação para o teste.
  7. Se o seu agente virtual não for aprovado no teste, faça as alterações sugeridas ao script ou às configurações do agente virtual e, em seguida, repita o teste.

Executar testes StandardBot a partir de uma janela de chat em tempo real

Outra opção para executar testes do StandardBot é definir um canal digital de Chat em tempo real Fechado Agentes e contatos interagem em tempo real que tem o script StandardBot atribuído ao seu ponto de contatoFechado O ponto de entrada que um contato de entrada usa para iniciar uma interação, como um número de telefone ou endereço de e-mail.. Você pode testar desta forma mesmo se não estiver planejando usar o agente virtual com um canal de Chat em tempo real.

Esta opção de teste requer que você tenha o Digital Experience.

  1. Crie e configure um script StandardBot para testar o agente virtual que quer testar. O script pode testar um ou mais agentes virtuais.
  2. Defina um canal de Chat em tempo real simplificado. Não coloque a janela do chat em uma página em tempo real do seu site.
  3. Ao criar um ponto de contato para o canal que está criando, selecione o script StandardBot que criou para usar com este canal.

  4. Coloque no ar a página da web que tem a sua janela de Chat em tempo real e inicie um chat. Você não precisa mais interagir com a janela do chat. O script executa os testes conforme configurado. Você pode ver os resultados do teste na janela do chat, conforme mostrado na imagem GIF a seguir.

    Uma imagem GIF mostrando o usuário inserindo o seu nome para iniciar um chat e em seguida o acionamento e as respostas do teste enviadas pela janela do chat automaticamente.

Definir o script de teste para executar conforme programado

Você pode configurar o script do StandardBot para executar conforme programado. Ao fazer isto, o StandardBot se torna uma ferramenta de monitoramento que lhe informa rapidamente sobre qualquer problema. As etapas abaixo fazem com que você modifique o script para que ele envie uma notificação caso haja um problema com um dos testes.

  1. Abra o seu script de teste StandardBot.
  2. Se precisar, configure o endereço de e-mail onde quer receber notificações de falha:
    1. Clique duas vezes na ação Snippet com o rótulo Declare Objects & Set Bot to Test.
    2. Clique na guia Text View na janela Snippet Editor
    3. Localize a variável ReportEmail e altere o valor para o endereço de e-mail no qual quer receber o relatório. O valor deve ser colocado entre aspas duplas.
    4. Clique em OK.
  3. Altere o script para enviar um alerta apenas se um teste falhar:
    1. Remova o conector entre a ação SNIPPET Preparar relatório e a ação de EMAIL  Enviar relatório.

    2. Adicione uma ação IF e SNIPPET ao script e conecte-as para que o ramal True de IF se conecte com a ação de EMAIL  Enviar relatório O ramal False deve se conectar com END. Isso é mostrado na imagem a seguir:

    3. Altere as legendas nas duas novas ações para indicar seu propósito. Neste exemplo, a legenda da ação SNIPPET é Teste para falha. A legenda da ação IF é E-mail sobre falha.

    4. Clique duas vezes na ação SNIPPET e adicione a seguinte linha de código:

      
ASSIGN isProblem = testreportstring.contains("fail")
    5. Save the snippet.
    6. Change the value of the Expression property of the new IF action to isProblem=1.
    7. Save the changes to your script.
  4. Defina uma programação de script no CXone para executar este script com a frequência que deseja.