Observability Dashboard

Observability Dashboard ermöglicht Ihnen, die von Copilot, Autopilot Knowledge und Autopilot eingesetzten KI-Fähigkeiten genau zu untersuchen. Das Dashboard bietet umfassende Einblicke in die Leistung der generativen Antworten, sodass Sie Verbesserungsbereiche erkennen und Ihre Abläufe optimieren können.

Copilot

Die Observability Dashboard für Copilot liefert Informationen zu generativen Antworten, Copilot for Agents Abfragen und AutoSummary.

  1. Klicken Sie auf App-Auswahl und wählen Sie Actions .

  2. Klicken Sie unter Actions auf Beobachtbarkeit-Dashboard.

    Standardmäßig wird das Copilot-Dashboard angezeigt. Es enthält drei Diagramme:

  3. Aktualisieren Sie bei Bedarf den Datumsbereich für das Dashboard und wählen Sie den Interaktionstyp im Kanal aus. Wählen Sie, ob Sie Details zu Sprach-Interaktionen, Chat-Interaktionen oder Alle anzeigen möchten.

  4. Klicken Sie auf Abfrage ausführen. Die drei Diagramme werden aktualisiert, um Ihre gewünschten Daten und Kanäle widerzuspiegeln.

Anzeigen von Daten zur GenAI Leistung

Generative Antworten sind während Anrufen automatisch generierte Antworten.

  1. Klicken Sie auf die Bezeichnung GenAILeistung, um einen Drilldown in die Statistiken durchzuführen. Es werden drei Diagramme angezeigt:

    • Im Zeitverlauf: Zeigt den Prozentsatz der Antworten an, die im Zeitverlauf verwendet, geändert oder ignoriert wurden oder zu keiner Antwort führten.

    • Nach Kategorie: Zeigt die Details nach Kategorie an.

    • Durchschnittliche KB pro Interaktion: Zeigt die durchschnittliche Anzahl der Wissensdatenbankinteraktionen pro Tag.

  2. Sie können die in den Diagrammen angezeigten Daten anpassen:

    • In den Diagrammen „Über Zeit“ und „Kategorie“ können Sie die Anzeige verschiedener Antwortstatus umschalten, indem Sie auf die Legenden klicken.

    • Klicken Sie in den Diagrammen „Zeitraum“ und „Kategorie“ auf Absolute Zahlen oder Prozentsatz , um zwischen Prozentsätzen und absoluten Zahlen zu wechseln.

    • Klicken Sie in allen drei Diagrammen auf Maximieren, um die Daten im Tabellenformat anzuzeigen.

  3. Scrollen Sie nach unten, um die nach Kategorien gruppierten Daten anzuzeigen. In der Kategorienansicht sind die Wissensdatenbank-Artikel nach verschiedenen Kategorien organisiert, was eine strukturierte Analyse ermöglicht. Jede Kategorie präsentiert:

    • Gesamtvolumen der Antworten in der Wissensbasis

    • Durchschnittlicher Adhärenzwert

    • Durchschnittliche Anzahl bereitgestellter Links und Bilder

    • Durchschnittlicher Wissensstand (von der Wissensdatenbank vergebener Stand)

  4. Wenn Sie auf eine Kategorie klicken, werden die spezifischen Abfragen und deren Details angezeigt, beispielsweise:

    • Anfrage an die Wissensbasis gesendet

    • Vorgeschlagene Wissensdatenbank-Antwort

    • Tatsächliche Antwort des Agenten

    • Anzahl der bereitgestellten Links und Bilder

    • Adhärenz-Score (die Ähnlichkeit zwischen vorgeschlagener und tatsächlicher Antwort)

    • Offset vom Beginn der Interaktion

    Für jede Abfrage können Sie:

    • Klicken Sie auf Interaktion abspielen , um den Ton der Interaktion anzuhören (sofern verfügbar).

    • Klicken Sie für die Abfrage auf die Schaltfläche Info. Klicken Sie im Bereich „Antwortdetails“ auf der rechten Seite auf die Schaltfläche Artikel erstellen, um einen Wissensartikel zu generieren. Auf Grundlage des Transkripts wird ein KI-generierter Artikel verfasst. Sie können den Artikel nach Bedarf bearbeiten und anschließend veröffentlichen.

      Ausführliche Informationen zum Bearbeiten und Veröffentlichen eines Artikels finden Sie in der Hilfe zur Wissensgenerierung.

  5. Sie können die Art und Weise ändern, wie Sie diese Daten anzeigen. Die Standardansicht erfolgt nach Kategorie. Klicken Sie auf Gruppieren nach, um die Gruppierung von Kategorie in eine der folgenden Optionen zu ändern:

    • Hauptkontakt

    • Team

    • Skill

    • Agenten-ID

    Die Daten werden basierend auf der neuen Gruppierung erneut angezeigt.

Anzeigen von Daten zu Agentenabfragen

Agent Abfragen zeigen Informationen zu den Antworten der Wissensdatenbank an, die auf Anfrage basierend auf Agentenfragen generiert werden. Es bietet Diagramme, die den Status direkter Abfragen und Einhaltungswerte anzeigen.

  1. Klicken Sie auf die Diagrammüberschrift Agent Abfragen, um einen Drilldown in die Statistiken durchzuführen. Das erste Diagramm zeigt den Prozentsatz der Antworten und Nicht-Antworten im Zeitverlauf. Das zweite Diagramm zeigt die Details nach Kategorie an.

  2. Sie können die Anzeige verschiedener Antwortstatus umschalten, indem Sie auf die Legenden klicken.

  3. Klicken Sie auf Absolute Zahlen oder Prozentsatz , um zwischen Prozentsätzen und absoluten Zahlen zu wechseln.

  4. Klicken Sie auf Maximieren , um das Diagramm im Vollbildmodus anzuzeigen.

  5. Scrollen Sie nach unten, um die Daten nach Kategorien gruppiert zu sehen. In der Kategorienansicht sind die Wissensdatenbank-Artikel nach verschiedenen Kategorien organisiert, was eine strukturierte Analyse ermöglicht. Jede Kategorie stellt Folgendes dar:

    • Gesamtvolumen der Antworten

    • Anzahl und Durchschnitt der Nicht-Antworten

    • Durchschnittliche Anzahl bereitgestellter Links und Bilder

    • Durchschnittlicher Wissensscore (von der Wissensdatenbank zugewiesener Score)

  6. Beim Klicken auf eine Kategorie werden die spezifischen Abfragen und ihre Details angezeigt, zum Beispiel:

    • Agentenabfrage an die Wissensbasis gesendet

    • Antwort auf die Agentenanfrage

    • Anzahl bereitgestellter Links und Bilder

    • Datum und Uhrzeit der Antwort

    • Durchschnittlicher Wissensstand

Das Anzeigen von Daten zu AutoSummary Abfragen

AutoSummary bietet eine umfassende Übersicht über die Gesamtleistung. Sie können Diagramme anzeigen, die die Leistung im Zeitverlauf verfolgen, wobei die Daten nach Absicht und Fähigkeit gruppiert sind. In detaillierten Tabellen werden neben tatsächlichen Zusammenfassungen auch vorgeschlagene Zusammenfassungen angezeigt, komplett mit Einhaltungsbewertungen zur Messung der Genauigkeit. Um umfassendere Details zu erhalten, können Sie bestimmte Interaktionen wiedergeben. Dadurch erhalten Sie ein vollständiges Bild davon, wie Zusammenfassungen erstellt und in echten Gesprächen verwendet werden.

  1. Klicken Sie auf die Diagrammüberschrift AutoSummary, um tiefer in die Statistiken einzusteigen.

    • Das erste Diagramm zeigt den Prozentsatz der Zusammenfassungen, die im Laufe der Zeit verwendet wurden. Zusammenfassungen werden anhand einer der folgenden Verwendungsarten gekennzeichnet: „Unverändert“, „Überarbeitet“, „mit geringfügigen Überarbeitungen“ und „Ignoriert“.

    • Das zweite Diagramm zeigt die Details nach Absicht.

    • Das dritte Diagramm zeigt die Details nach Fähigkeit.

    • Das vierte Diagramm zeigt die Details nach Team.

    Sie können die Anzeige verschiedener Antwortstatus umschalten, indem Sie auf die Legenden klicken.

  2. Klicken Sie auf Absolute Zahlen oder Prozentsatz , um zwischen Prozentsätzen und absoluten Zahlen zu wechseln.

  3. Klicken Sie auf Maximieren , um das Diagramm im Vollbildmodus anzuzeigen.

  4. Scrollen Sie nach unten, um die Daten nach Kategorien gruppiert zu sehen. In der Kategorienansicht sind die Wissensdatenbank-Artikel nach verschiedenen Kategorien organisiert, was eine strukturierte Analyse ermöglicht. Jede Kategorie stellt Folgendes dar:

    • Gesamtvolumen der Antworten

    • Anzahl und Durchschnitt der Nicht-Antworten

    • Durchschnittliche Anzahl bereitgestellter Links und Bilder

    • Durchschnittlicher Wissensscore (von der Wissensdatenbank zugewiesener Score)

  5. Beim Klicken auf eine Kategorie werden die spezifischen Abfragen und ihre Details angezeigt, zum Beispiel:

    • Agentenabfrage an die Wissensdatenbank gesendet

    • Antwort auf die Agentenanfrage

    • Anzahl bereitgestellter Links und Bilder

    • Datum und Uhrzeit der Antwort

    • Durchschnittlicher Wissensstand

Als CX-Leiter möchte Mark die Observability Dashboard nutzen, um Wissenslücken in der Wissensbasis zu identifizieren. Ihm fällt auf, dass viele Vorschläge zur Wissensdatenbank geändert oder ignoriert werden. Mark klickt auf Wissensdatenbank-Antworten, um die Daten nach Kategorie anzuzeigen. Er konzentriert sich auf Kategorien mit einem niedrigen Beibehaltungsscore, der anzeigt, dass die tatsächlichen Antworten stark von den vorgeschlagenen Antworten abweichen. Als er Kategorien mit niedrigem Score, z. B. Abrechnung und Zahlung, einblendet, erkennt Mark, dass die Vorschläge besonders bei Fragen zu Ratenzahlung und Rückerstattung wenig genutzt wurden – anscheinend gibt es in diesen Bereichen Lücken in der Wissensdatenbank.

Über Observability Dashboard kann Mark Themen ermitteln, bei denen eine Erweiterung der Wissensdatenbank erforderlich ist. Anschließend kann er mit dem Wissensdatenbank-Team zusammenarbeiten, um diese Lücken zu schließen und die Qualität der Vorschläge für eine bessere Kundeninteraktion zu verbessern.

Autopilot Knowledge

Die Observability Dashboard für Autopilot Knowledge zeigt Daten darüber, wie gut Ihr automatisiertes System Kundenfragen bearbeitet. Sie sehen ein Diagramm, das Leistungstrends im Zeitverlauf anzeigt. So können Sie Änderungen täglich, wöchentlich oder monatlich verfolgen.

  1. Klicken Sie auf App-Auswahl und wählen Sie Actions .

  2. Klicken Sie unter Actions auf Observability Dashboard.

  3. Klicken Sie auf die Registerkarte Autopilot Knowledge.

  4. Legen Sie den gewünschten Datumsbereich für das Dashboard fest und klicken Sie auf Abfrage ausführen.

  5. Klicken Sie auf das Label GenAILeistung, um detaillierte Diagramme zu den Antworten anzuzeigen:

    • Zeitverlaufsdiagramm: Verfolgt die Anzahl erfolgreicher Antworten und Nicht-Antworten.

    • Diagramm nach Kategorie: Identifiziert Stärken und Schwächen, gruppiert nach Kategorie.

    Sie können die Darstellung der Daten in den Diagrammen anpassen:

    • Um zwischen Prozentsätzen und absoluten Zahlen zu wechseln, klicken Sie auf Absolute Zahlen oder Prozentsatz .

    • Um das Diagramm im Vollbildmodus anzuzeigen, klicken Sie auf Maximieren .

    • Um die Anzeige verschiedener Antwortstatus umzuschalten, klicken Sie in den Diagrammen auf die Legende Antwort oder Keine Antwort.

  6. Scrollen Sie unter den Diagrammen nach unten, um die nach Absicht gruppierten Daten anzuzeigen. Die Absichtsansicht organisiert die Zusammenfassungen in verschiedene Kategorien und bietet einen strukturierten Analyseansatz. Jede Absicht stellt dar:

    • Die Absicht der Zusammenfassung

    • Anzahl und Durchschnitt der Zusammenfassungen

    • Durchschnittliche Einhaltung und die vergebene Punktzahl

  7. Um die spezifischen Abfragen und ihre Details anzuzeigen, klicken Sie auf eine Kategorie, beispielsweise:

    • Vorgeschlagene Zusammenfassung

    • Tatsächliche Zusammenfassung

    • Prozentsatz und Status der Einhaltung

    • Datum und Uhrzeit der Zusammenfassung

Autopilot

Die Observability Dashboard für Autopilot zeigt, wie gut Ihre Wissensdatenbank Kundenfragen bearbeiten kann. Verwenden Sie dieses Dashboard, um nach Bereichen zu suchen, in denen Sie Ihrer Wissensdatenbank weitere Artikel hinzufügen oder die Artikel anpassen können, um die Fragen der Kunden besser zu beantworten.

  1. Klicken Sie auf App-Auswahl und wählen Sie Actions .

  2. Klicken Sie unter Actions auf Observability Dashboard.

  3. Klicken Sie auf die Registerkarte Autopilot.

  4. Legen Sie den gewünschten Datumsbereich für das Dashboard fest und klicken Sie auf Abfrage ausführen.

  5. Klicken Sie auf das Label GenAILeistung, um Details zu den gestellten Fragen und den bereitgestellten Artikeln für den angegebenen Zeitraum anzuzeigen.

    Es werden zwei Diagramme angezeigt:

    • Über die Zeit Diagramm: Zeigt die Anzahl der erfolgreichen Antworten und Nicht-Antworten über den Zeitraum. Eine Antwort zeigt an, dass dem Benutzer ein Artikel angezeigt wurde. Eine Nichtbeantwortung bedeutet, dass kein passender Artikel gefunden wurde.

    • Diagramm Nach Kategorie: Zeigt die Anzahl der erfolgreichen Antworten und Nicht-Antworten nach Kategorien.

    Sie können die Darstellung der Daten in den Diagrammen anpassen:

    • Um zwischen Prozentsätzen und absoluten Zahlen zu wechseln, klicken Sie auf Absolute Zahlen oder Prozentsatz .

    • Um das Diagramm im Vollbildmodus anzuzeigen, klicken Sie auf Maximieren .

    • Um die Anzeige verschiedener Antwortstatus umzuschalten, klicken Sie in den Diagrammen auf die Legende Antwort oder Keine Antwort.

  6. Scrollen Sie unter den Diagrammen nach unten, um eine Tabelle mit Details zu den Abfragen anzuzeigen. Die Abfragen sind nach Kategorien gruppiert.

  7. Durch Klicken auf eine Kategorie werden die spezifischen Abfragen und die bereitgestellten Antworten angezeigt. Verwenden Sie dies, um Bereiche zu identifizieren, in denen in Ihrer Wissensdatenbank möglicherweise Artikel fehlen.