Observability Dashboard

Observability Dashboard을 사용하면 Copilot, Autopilot Knowledge, Autopilot에서 사용되는 AI 기능을 자세히 살펴볼 수 있습니다. 대시보드는 생성적 응답의 성과에 대한 포괄적인 통찰력을 제공하여 개선이 필요한 영역을 파악하고 운영을 최적화할 수 있도록 도와줍니다.

Copilot

"Observability Dashboard에 대한 Copilot은 생성 응답, Copilot for Agents 쿼리 및 AutoSummary에 대한 정보를 제공합니다."

  1. 앱 선택기를 클릭하고 Actions을(를) 선택합니다.

  2. Actions에서 옵저버빌리티 대시보드를 클릭합니다.

    기본적으로 Copilot 대시보드가 나타납니다. 여기에는 3개의 차트가 포함되어 있습니다.

  3. 필요한 경우 대시보드의 날짜 범위를 업데이트하고 채널에서 상호작용 유형을 선택하세요. 음성 상호 작용, 채팅 상호 작용 또는 모두에 대한 세부 정보를 보려면 선택하세요.

  4. 쿼리 실행을 클릭합니다. 세 개의 그래프는 원하는 날짜와 채널을 반영하도록 업데이트됩니다.

GenAI 성능에 대한 데이터 보기

생성적 응답은 통화 중에 자동으로 생성되는 답변입니다.

  1. GenAI성능 레이블을 클릭하여 통계를 자세히 살펴보세요. 세 개의 그래프가 나타납니다.

    • 시간 경과에 따른: 시간 경과에 따라 사용, 수정, 무시되거나 답변이 없는 답변의 비율을 보여줍니다.

    • 범주별: 범주별로 세부 정보를 표시합니다.

    • 상호작용당 평균 Kb: 하루 평균 지식 기반 상호 작용 수를 보여줍니다.

  2. 그래프에 나타나는 데이터를 사용자 정의할 수 있습니다.

    • 시간별 및 범주별 그래프에서 범례를 클릭하면 다양한 답변 상태의 표시를 전환할 수 있습니다.

    • 시간 경과 및 범주 그래프에서 절대 수치 또는 백분율 을 클릭하여 백분율과 절대 수치 사이를 전환합니다.

    • 세 개의 그래프 모두에서 최대화를 클릭하면 데이터가 표 형식으로 표시됩니다.

  3. 아래로 스크롤하여 범주별로 그룹화된 데이터를 확인하세요. 카테고리 보기는 지식 베이스 답변을 다양한 카테고리로 구성하여 분석에 대한 체계적 접근법을 제공합니다. 각 카테고리에는 다음이 포함됩니다.

    • 지식베이스 답변의 총 볼륨

    • 평균 준수 점수

    • 제공된 링크 및 이미지의 평균 수

    • 평균 지식 점수(지식 기반에서 할당한 점수)

  4. 카테고리를 클릭하면 다음과 같은 특정 질의와 세부 정보가 표시됩니다.

    • 지식 베이스에 쿼리가 전송되었습니다.

    • 제안된 지식 기반 답변

    • 에이전트의 실제 응답

    • 제공된 링크 및 이미지 수

    • 준수 점수(제안된 응답과 실제 응답 간의 유사성)

    • 상호작용 시작부터 오프셋

    각 쿼리에 대해 다음을 수행할 수 있습니다.

    • "재생 상호 작용 을 클릭하여 상호 작용의 오디오를 듣습니다(사용 가능한 경우)."

    • 쿼리에 대한 정보 버튼을 클릭하세요. 오른쪽의 응답 세부 정보 패널에서 기사 만들기 버튼을 클릭하여 지식 기사를 생성합니다. AI가 작성한 기사는 필사본을 토대로 초안을 작성합니다. 필요에 따라 기사를 편집한 후 게시할 수 있습니다.

      기사 편집 및 게시에 대한 자세한 내용은 지식 생성 도움말을 참조하세요.

  5. 이 데이터를 보는 방법을 전환할 수 있습니다. 기본 보기는 카테고리별입니다. 그룹화 기준을 클릭하여 그룹화를 범주에서 다음 중 하나로 변경하세요.

    • 마스터 컨택

    • 팀

    • 스킬

    • 상담원 ID

    새로운 그룹화를 기반으로 데이터가 다시 나타납니다.

에이전트 쿼리에 대한 데이터 보기

상담원 쿼리는 에이전트 질문을 기반으로 주문형으로 생성된 지식 기반 답변에 대한 정보를 표시합니다. 직접 질의 상태와 준수 점수를 보여주는 그래프를 제공합니다.

  1. 통계를 자세히 살펴보려면 차트 제목 상담원 쿼리를 클릭하세요. 첫 번째 그래프는 시간 경과에 따른 응답 비율과 무응답 비율을 보여줍니다. 두 번째 그래프는 카테고리별 세부 정보를 표시합니다.

  2. 범례를 클릭하면 다양한 답변 상태의 표시를 전환할 수 있습니다.

  3. 절대 번호 또는 백분율 을 클릭하여 백분율과 절대 번호 사이를 전환합니다.

    4. "

  4. 그래프를 전체 화면으로 보려면 최대화 를 클릭하세요."

  5. 아래로 스크롤하면 카테고리별로 그룹화된 데이터가 표시됩니다. 카테고리 보기는 지식 베이스 답변을 다양한 카테고리로 구성하여 분석에 대한 체계적 접근법을 제공합니다. 각 카테고리의 내용:

    • 응답 총량

    • 무응답의 수와 평균

    • 제공된 링크 및 이미지의 평균 수

    • 평균 지식 점수(지식 베이스에서 할당한 점수)

  6. 카테고리를 클릭하면 다음과 같은 특정 질의와 세부 정보가 표시됩니다.

    • 지식베이스에 에이전트 쿼리가 전송되었습니다.

    • 에이전트 질의에 대한 응답

    • 제공된 링크 및 이미지 수

    • 응답 날짜 및 시간

      • "

    • 평균 지식 점수

를 통해 AutoSummary쿼리에 대한 데이터 보기

AutoSummary는 요약 성과에 대한 포괄적인 보기를 제공합니다." 시간 경과에 따른 성과를 추적하는 그래프를 볼 수 있으며, 데이터는 의도와 기술에 따라 그룹화되어 있습니다. 자세한 표에는 실제 요약과 함께 제안된 요약이 표시되어 있으며, 정확성을 가늠하기 위한 준수 점수도 함께 제공됩니다. 더욱 포괄적인 세부 정보를 얻으려면 특정 상호작용을 재생하면 요약이 생성되고 실제 대화에서 사용되는 방식에 대한 전체적인 그림을 얻을 수 있습니다.

  1. 통계를 자세히 알아보려면 차트 제목인 자동 요약을 클릭하세요.

    • 첫 번째 그래프는 시간 경과에 따라 사용된 요약의 비율을 보여줍니다. 요약은 다음 방식 중 하나로 사용되는 것으로 식별됩니다: 있는 그대로, 개정됨, 사소한 개정 포함, 무시됨.

    • 두 번째 그래프는 의도별 세부 정보를 표시합니다.

    • 세 번째 그래프는 기술별 세부 정보를 표시합니다.

    • 네 번째 그래프는 팀별 세부 정보를 표시합니다.

    범례를 클릭하면 다양한 답변 상태의 표시를 전환할 수 있습니다.

  2. 절대 번호 또는 백분율 을 클릭하여 백분율과 절대 번호 사이를 전환합니다.

    3. 그래프를 전체 화면으로 보려면

  3. 최대화 를 클릭하세요.

  4. 아래로 스크롤하면 카테고리별로 그룹화된 데이터가 표시됩니다. 카테고리 보기는 지식 베이스 답변을 다양한 카테고리로 구성하여 분석에 대한 체계적 접근법을 제공합니다. 각 카테고리의 내용:

    • 응답 총량

    • 무응답의 수와 평균

    • 제공된 링크 및 이미지의 평균 수

    • 평균 지식 점수(지식 베이스에서 할당한 점수)

  5. 카테고리를 클릭하면 다음과 같은 특정 질의와 세부 정보가 표시됩니다.

    • 지식베이스에 에이전트 쿼리가 전송되었습니다.

    • 에이전트 질의에 대한 응답

    • 제공된 링크 및 이미지 수

    • 응답 날짜 및 시간

    • 평균 지식 점수

CX 리더로서 Mark는 Observability Dashboard을 사용하여 지식 기반의 지식 격차를 파악하고자 합니다. 그는 많은 지식 기반 제안이 수정되거나 무시되고 있다는 사실을 알아차렸습니다. 마크는 지식 베이스 답변을 클릭하여 카테고리별 데이터를 표시합니다. 그는 제안과 실제 응답 간의 불일치를 나타내는 평균 충실도 점수가 낮은 카테고리에 집중합니다. 마크는 청구, 지불 등 점수가 낮은 카테고리를 확장하여 지불 계획 및 환불 정책에 대한 질의에서 충실도가 낮은 것을 확인하는데, 이는 해당 영역에 지식 격차가 있음을 시사합니다.

Observability Dashboard을 통해 Mark는 지식 기반 개선이 필요한 주제를 정확히 파악할 수 있습니다. 그런 다음 그는 지식 기반 팀과 협력하여 이러한 차이를 해소하고, 더 나은 고객 상호 작용을 위한 제안의 질을 개선할 수 있습니다.

Autopilot Knowledge

"Observability Dashboard에 대한 Autopilot Knowledge는 자동화 시스템이 고객 질문을 얼마나 잘 처리하는지에 대한 데이터를 보여줍니다." 시간 경과에 따른 성과 추세를 표시하는 그래프가 표시됩니다. 이를 통해 매일, 매주 또는 매월 변경 사항을 추적할 수 있습니다.

  1. 앱 선택기를 클릭하고 Actions을(를) 선택합니다.

  2. Actions에서 Observability Dashboard을 클릭하세요.

  3. Autopilot Knowledge 탭을 클릭합니다.

  4. 대시보드에 대해 원하는 날짜 범위를 설정하고 쿼리 실행을 클릭합니다.

  5. "응답에 대한 자세한 그래프를 보려면 GenAI 성과 라벨을 클릭하세요."

    • 시간 경과 그래프: 성공적인 응답과 응답하지 않은 응답의 수를 추적합니다.

    • 범주별 그래프: 범주별로 그룹화된 강점과 약점 영역을 식별합니다.

    그래프에서 데이터의 모양을 사용자 지정할 수 있습니다.

    • 백분율과 절대 숫자 사이를 전환하려면 절대 숫자 또는 백분율 을 클릭하세요.

    • 그래프를 전체 화면으로 보려면 최대화 를 클릭하세요.

    • 다양한 답변 상태 표시를 전환하려면 그래프에서 응답 또는 응답 없음 범례를 클릭하세요.

  6. 그래프 아래로 스크롤하여 의도별로 그룹화된 데이터를 확인하세요. 의도 보기는 요약을 다양한 범주로 구성하여 분석에 대한 체계적인 접근 방식을 제공합니다. 각 의도는 다음을 나타냅니다.

    • 요약의 의도

    • 요약의 수와 평균

    • 평균 준수도 및 할당된 점수

  7. 특정 질의와 세부 정보를 보려면 다음과 같은 카테고리를 클릭하세요.

    • 제안된 요약

    • 실제 요약

    • 준수율 및 상태

    • 요약의 날짜 및 시간

Autopilot

"Observability Dashboard에 대한 Autopilot은 지식 기반이 고객 질문을 얼마나 잘 처리할 수 있는지 보여줍니다." 이 대시보드를 사용하면 지식 기반에 더 많은 문서를 추가할 수 있는 분야를 찾거나 고객의 질문에 더 잘 답변할 수 있도록 문서를 사용자 지정할 수 있습니다.

  1. 앱 선택기를 클릭하고 Actions을(를) 선택합니다.

  2. Actions에서 Observability Dashboard를 클릭하세요.

  3. Autopilot 탭을 클릭합니다.

  4. 대시보드에 대해 원하는 날짜 범위를 설정하고 쿼리 실행을 클릭합니다.

  5. GenAI성과 라벨을 클릭하면 지정된 기간 동안 질문된 내용과 제공된 문서에 대한 세부 정보를 볼 수 있습니다.

    두 개의 그래프가 나타납니다.

    • 시간 경과에 따른 그래프: 특정 기간 동안 성공적인 응답과 응답하지 않은 응답의 수를 보여줍니다. 응답은 사용자에게 기사가 표시되었음을 나타냅니다. 무응답은 일치하는 기사를 찾을 수 없음을 나타냅니다.

    • 범주별 그래프: 범주별로 성공한 응답과 응답하지 않은 응답의 수를 보여줍니다.

    그래프에서 데이터의 모양을 사용자 지정할 수 있습니다.

    • 백분율과 절대 숫자 사이를 전환하려면 절대 숫자 또는 백분율 을 클릭합니다.

    • 그래프를 전체 화면으로 보려면 최대화 를 클릭하세요.

    • 다양한 답변 상태 표시를 전환하려면 그래프에서 응답 또는 응답 없음 범례를 클릭하세요.

  6. 그래프 아래로 스크롤하여 쿼리에 대한 세부 정보를 제공하는 표를 확인하세요. 질의는 범주별로 그룹화됩니다.

  7. 카테고리를 클릭하면 구체적인 질의와 제공된 답변이 표시됩니다. 이를 사용하여 지식 기반에서 기사가 누락된 영역을 파악하세요.