Observability Dashboard

Observability Dashboard vous permet d'examiner les capacités d'IA employées par Copilot, Autopilot Knowledge et Autopilot. Le tableau de bord fournit des informations complètes sur les performances des réponses génératives, vous permettant d'identifier les domaines à améliorer et d'optimiser vos opérations.

Copilot

Le Observability Dashboard pour Copilot fournit des informations sur les réponses génératives, les requêtes Copilot for Agents et AutoSummary.

  1. Cliquez sur le du sélecteur d'application et sélectionnez Actions.

  2. Sur Actions, cliquez sur Tableau de bord d’observabilité.

    Par défaut, le tableau de bord Copilot apparaît. Il contient trois graphiques :

  3. Si nécessaire, mettez à jour la Plage de dates du tableau de bord et sélectionnez le type d'interaction dans Canal. Choisissez d'afficher les détails des interactions Voix , des interactions Chat ou Tout.

  4. Cliquez sur Exécuter la requête. Les trois graphiques sont mis à jour pour refléter les dates et les canaux souhaités.

Affichage des données sur les performances de GenAI

Les réponses génératives sont des réponses générées automatiquement lors des appels.

  1. Cliquez sur l'étiquette GenAIPerformances pour explorer les statistiques. Trois graphiques apparaissent :

    • Au fil du temps : affiche le pourcentage de réponses qui ont été utilisées, modifiées, ignorées ou n'ont donné lieu à aucune réponse au fil du temps.

    • Par catégorie : affiche les détails par catégorie.

    • Moyenne de Ko par interaction : Affiche le nombre moyen d'interactions avec la base de connaissances par jour.

  2. Vous pouvez personnaliser les données qui apparaissent dans les graphiques :

    • Dans les graphiques Au fil du temps et Catégorie, vous pouvez basculer l'affichage des différents statuts de réponse en cliquant sur les légendes.

    • Dans les graphiques Au fil du temps et Catégorie, cliquez sur Nombres absolus ou Pourcentage pour basculer entre les pourcentages et les nombres absolus.

    • Dans les trois graphiques, cliquez sur Maximiser pour afficher les données sous forme de tableau.

  3. Faites défiler vers le bas pour voir les données regroupées par catégories. La vue Catégories organise les réponses de la base de connaissances en différentes catégories, offrant ainsi une approche structurée de l’analyse. Chaque catégorie présente :

    • Volume total des réponses de la base de connaissances

    • Score moyen d'adhésion

    • Nombre moyen de liens et d'images fournis

    • Score moyen de connaissances (score attribué par la base de connaissances)

  4. Cliquer sur une catégorie révèle les requêtes spécifiques et leurs détails, tels que :

    • Requête envoyée à la base de connaissances

    • Réponse suggérée de la base de connaissances

    • Réponse réelle de l'agent

    • Nombre de liens et d'images fournis

    • Score d'adhésion (similitude entre la réponse suggérée et la réponse réelle)

    • Décalage par rapport au début de l'interaction

    Pour chaque requête, vous pouvez :

    • Cliquez sur Lire Interaction pour écouter l'audio de l'interaction (si disponible).

    • Cliquez sur le bouton Info pour la requête. Dans le panneau Détails de la réponse sur la droite, cliquez sur le bouton Créer un article pour générer un article de connaissances. Un article généré par l’IA est rédigé sur la base de la transcription. Vous pouvez modifier l'article selon vos besoins, puis le publier.

      Pour obtenir des informations complètes sur l'édition et la publication d'un article, consultez l'aide sur la génération de connaissances.

  5. Vous pouvez modifier la façon dont vous visualisez ces données. La vue par défaut est par catégorie. Cliquez sur Grouper par pour modifier le regroupement de Catégorie à l'un des éléments suivants :

    • Contact principal

    • Équipe

    • Compétence

    • Identifiant de l'agent

    Les données réapparaissent en fonction du nouveau regroupement.

Affichage des données sur les requêtes des agents

Agent Les requêtes affichent des informations sur les réponses de la base de connaissances générées à la demande en fonction des questions des agents. Il fournit des graphiques qui montrent l'état des requêtes directes et les scores d'adhésion.

  1. Cliquez sur l'en-tête du graphique, Agent Requêtes, pour explorer les statistiques en détail. Le premier graphique montre le pourcentage de réponses et d’absence de réponse au fil du temps. Le deuxième graphique affiche les détails par catégorie.

  2. Vous pouvez basculer l'affichage des différents statuts de réponse en cliquant sur les légendes.

  3. Cliquez sur Nombres absolus ou Pourcentage pour basculer entre les pourcentages et les nombres absolus.

  4. Cliquez sur Maximiser pour afficher le graphique en plein écran.

  5. Faites défiler l’écran vers le bas pour afficher les données regroupées par catégories. La vue Catégories organise les réponses de la base de connaissances en différentes catégories, offrant ainsi une approche structurée de l’analyse. Chaque catégorie présente les informations suivantes :

    • Volume total des réponses

    • Nombre et moyenne de non-réponses

    • Nombre moyen de liens et d’images fournis

    • Score moyen de connaissance (score attribué par la base de connaissances)

  6. Cliquez sur une catégorie pour accéder aux requêtes spécifiques et à leurs détails, par exemple :

    • Requête de l'agent envoyée à la base de connaissances

    • Réponse à la requête de l'agent

    • Nombre de liens et d’images fournis

    • Date et heure de la réponse

    • Score de connaissances moyen

L'affichage des données sur les AutoSummary requêtes

AutoSummary fournit une vue complète des performances récapitulatives. Vous pouvez voir des graphiques qui suivent les performances au fil du temps, avec des données regroupées par intention et compétence. Des tableaux détaillés affichent des résumés suggérés à côté des résumés réels, accompagnés de scores d'adhésion pour évaluer l'exactitude. Pour des détails plus complets, vous pouvez relire des interactions spécifiques, ce qui vous donnera une image complète de la manière dont les résumés sont générés et utilisés dans les conversations réelles.

  1. Cliquez sur l'en-tête du graphique, AutoSummary pour explorer les statistiques en détail.

    • Le premier graphique montre le pourcentage de résumés qui ont été utilisés au fil du temps. Les résumés sont identifiés comme étant utilisés de l'une des manières suivantes : tels quels, révisés, avec des révisions mineures et ignorés.

    • Le deuxième graphique affiche les détails par intention.

    • Le troisième graphique affiche les détails par compétence.

    • Le quatrième graphique affiche les détails par équipe.

    Vous pouvez basculer l'affichage des différents statuts de réponse en cliquant sur les légendes.

  2. Cliquez sur Nombres absolus ou Pourcentage pour basculer entre les pourcentages et les nombres absolus.

  3. Cliquez sur Maximiser pour afficher le graphique en plein écran.

  4. Faites défiler l’écran vers le bas pour afficher les données regroupées par catégories. La vue Catégories organise les réponses de la base de connaissances en différentes catégories, offrant ainsi une approche structurée de l’analyse. Chaque catégorie présente les informations suivantes :

    • Volume total des réponses

    • Nombre et moyenne de non-réponses

    • Nombre moyen de liens et d’images fournis

    • Score moyen de connaissance (score attribué par la base de connaissances)

  5. Cliquez sur une catégorie pour accéder aux requêtes spécifiques et à leurs détails, par exemple :

    • Requête de l'agent envoyée à la base de connaissances

    • Réponse à la requête de l'agent

    • Nombre de liens et d’images fournis

    • Date et heure de la réponse

    • Score moyen de connaissances

En tant que responsable CX, Mark souhaite utiliser le Observability Dashboard pour identifier les lacunes dans la base de connaissances. Il remarque que de nombreuses suggestions de la base de connaissances sont modifiées ou ignorées. Mark clique sur Réponses de la base de connaissances pour consulter les données par catégorie. Il se concentre sur les catégories dont les scores moyens de conformité sont faibles, ce qui indique un déséquilibre entre les suggestions et les réponses réelles. En élargissant les catégories à faible score comme la facturation et les paiements, Mark constate un faible taux de conformité aux requêtes concernant les plans de paiement et les politiques de remboursement, ce qui indique des lacunes de connaissances dans ces domaines.

Grâce au Observability Dashboard, Mark peut identifier les sujets nécessitant des améliorations de la base de connaissances. Il peut ensuite travailler avec l’équipe de la base de connaissances pour combler ces lacunes, améliorant ainsi la qualité des suggestions pour de meilleures interactions avec les clients.

Autopilot Knowledge

Le Observability Dashboard pour Autopilot Knowledge affiche des données sur la façon dont votre système automatisé gère les questions des clients. Vous verrez un graphique qui affiche les tendances des performances au fil du temps. Cela vous permet de suivre les changements quotidiennement, hebdomadairement ou mensuellement.

  1. Cliquez sur le du sélecteur d'application et sélectionnez Actions.

  2. Sur Actions, cliquez sur Observability Dashboard.

  3. Cliquez sur l'onglet Autopilot Knowledge.

  4. Définissez la plage de dates souhaitée pour le tableau de bord, puis cliquez sur Exécuter la requête.

  5. Cliquez sur l'étiquette GenAIPerformances pour afficher des graphiques détaillés sur les réponses :

    • Graphique au fil du temps : suit le nombre de réponses réussies et de non-réponses.

    • Graphique par catégorie : identifie les domaines de force et de faiblesse, regroupés par catégorie.

    Vous pouvez personnaliser l’apparence des données dans les graphiques :

    • Pour basculer entre les pourcentages et les nombres absolus, cliquez sur Nombres absolus ou Pourcentage .

    • Pour afficher le graphique en plein écran, cliquez sur Maximiser .

    • Pour basculer l'affichage des différents statuts de réponse, cliquez sur les légendes Réponse ou Aucune réponse dans les graphiques.

  6. Faites défiler vers le bas sous les graphiques pour voir les données regroupées par intention. La vue Intention organise les résumés en différentes catégories, offrant une approche structurée de l'analyse. Chaque intention présente :

    • L'intention du résumé

    • Nombre et moyenne des résumés

    • Adhésion moyenne et score attribué

  7. Pour voir les requêtes spécifiques et leurs détails, cliquez sur une catégorie, telle que :

    • Résumé suggéré

    • Résumé réel

    • Pourcentage et statut d'adhésion

    • Date et heure du résumé

Autopilot

Le Observability Dashboard pour Autopilot montre dans quelle mesure votre base de connaissances est capable de gérer les questions des clients. Utilisez ce tableau de bord pour rechercher les domaines dans lesquels vous pouvez ajouter plus d'articles à votre base de connaissances ou personnaliser les articles pour mieux répondre aux questions des clients.

  1. Cliquez sur le du sélecteur d'application et sélectionnez Actions.

  2. Sur Actions, cliquez sur Observability Dashboard.

  3. Cliquez sur l'onglet Autopilot.

  4. Définissez la plage de dates souhaitée pour le tableau de bord, puis cliquez sur Exécuter la requête.

  5. Cliquez sur l'étiquette GenAIPerformance pour afficher les détails des questions posées et des articles fournis pour la période spécifiée.

    Deux graphiques apparaissent :

    • Au fil du temps graphique : affiche le nombre de réponses réussies et de non-réponses au cours de la période. Une réponse indique qu'un article a été montré à l'utilisateur. Une absence de réponse indique qu'aucun article correspondant n'a été trouvé.

    • Par catégorie graphique : affiche le nombre de réponses réussies et de non-réponses par catégories.

    Vous pouvez personnaliser l’apparence des données dans les graphiques :

    • Pour basculer entre les pourcentages et les nombres absolus, cliquez sur Nombres absolus ou Pourcentage .

    • Pour afficher le graphique en plein écran, cliquez sur Maximiser .

    • Pour basculer l'affichage des différents statuts de réponse, cliquez sur les légendes Réponse ou Aucune réponse dans les graphiques.

  6. Faites défiler vers le bas sous les graphiques pour voir un tableau qui fournit des détails sur les requêtes. Les requêtes sont regroupées par catégories.

  7. En cliquant sur une catégorie, vous découvrez les requêtes spécifiques et les réponses fournies. Utilisez ceci pour identifier les domaines dans lesquels il pourrait manquer des articles dans votre base de connaissances.