Observability Dashboard

Observability Dashboard을 사용하면 Copilot, Autopilot Knowledge, Autopilot에서 사용되는 AI 기능을 자세히 살펴볼 수 있습니다. 대시보드는 생성적 응답의 성과에 대한 포괄적인 통찰력을 제공하여 개선이 필요한 영역을 파악하고 운영을 최적화할 수 있도록 도와줍니다.

Copilot

"Observability Dashboard에 대한 Copilot은 생성 응답, Copilot for Agents 쿼리 및 AutoSummary에 대한 정보를 제공합니다."

1. 앱 선택기를 클릭하고 Actions을(를) 선택합니다.

2. Actions에서 옵저버빌리티 대시보드를 클릭합니다.

   기본적으로 Copilot 대시보드가 나타납니다. 여기에는 3개의 차트가 포함되어 있습니다.

   • Mpower 상담원 성과 메트릭

   • 생성형 응답

   • 상담원 쿼리

   • AutoSummary

3. 필요한 경우 대시보드의 날짜 범위를 업데이트하고 채널에서 상호작용 유형을 선택하세요. 음성 상호 작용, 채팅 상호 작용 또는 모두에 대한 세부 정보를 보려면 선택하세요.

4. 쿼리 실행을 클릭합니다. 세 개의 그래프는 원하는 날짜와 채널을 반영하도록 업데이트됩니다.

Mpower 상담원 성과 메트릭

Mpower Agent Performance Metrics는 에이전트의 작업이 다양한 단계에서 어떻게 제안, 실행, 평가되는지에 대한 포괄적인 관점을 제공합니다. 그래프는 작업 성과를 시각화하는 데 도움이 됩니다. 즉, 작업이 어떻게 성공하거나 실패하는지 보여주고, 시간에 따른 추세를 강조하며, 다양한 작업을 완료하는 데 걸리는 시간을 보여줍니다.

1. Mpower Agent 성능 측정항목 레이블을 클릭하여 통계를 자세히 살펴보세요. 4개의 그래프가 나타납니다.

   • Mpower 에이전트 성과 지표: 이 차트는 에이전트 성과 지표가 다양한 단계로 어떻게 이동하는지 보여줍니다.

     • 사용 가능: 성과 측정 항목에 대해 평가 또는 고려될 수 있거나 준비가 된 총 작업 수입니다.

     • 제안됨: 성과 기준에 따라 특정 평가 또는 개입에 권장되는 사용 가능 작업의 하위 집합입니다.

     • 제안되지 않음: 성능 기준을 충족하지 못하거나 기준에 부합하지 않아 실행이 권장되지 않는 사용 가능 작업의 하위 집합입니다.

     • 거부됨: 제안된 작업 중에서 추가 검토 또는 의사 결정 후 실행이 승인되지 않았거나 거부된 작업입니다.

     • 실행됨: 제안된 작업 중에서 성공적으로 수행된 권장 작업입니다.

     • 성공: 모든 필수 기준을 충족하고 운영 목표에 긍정적으로 기여하는 실행된 작업의 하위 집합입니다.

     • 실패: 평가 과정에서 거부되어 실행을 위한 최종 기준을 충족하지 못하는 제안의 하위 집합입니다.

   • 총 작업: 이 그래프는 에이전트 작업이 다양한 단계를 거쳐 어떻게 진행되는지 명확하게 보여줍니다. 그래프는 모든 에이전트의 작업 집계 수를 표시합니다. 원형 차트의 중앙에는 사용 가능한 총 작업이 표시되며, 이는 평가에 사용할 수 있는 총 작업 수를 나타냅니다. 주변 세그먼트는 이 총계를 제안됨, 거부됨, 실행, 성공, 실패 등의 범주로 분류합니다.

     이 보기는 전반적인 작업 볼륨을 파악하고 이러한 볼륨이 다양한 성능 단계에 어떻게 분포되어 있는지 이해하는 데 도움이 됩니다.

   • 작업 지원 성과 지표: 이 그래프는 시간 경과에 따라, 작업 유형별로 작업이 제안, 실행 및 거부되는 방식에 대한 포괄적인 보기를 제공합니다.

   • 평균 실행 시간: 이 그래프는 다양한 작업이 완료되는 데 걸리는 시간을 보여줍니다. 문제 해결, 일정 관리, 데이터 입력 등 각 작업의 실행 시간을 비교하여 어떤 작업이 빠르고 어떤 작업이 더 오래 걸리는지 파악하는 데 도움이 됩니다.

     • 각 작업에는 완료하는 데 걸리는 범위와 평균 시간을 보여주는 상자 그림이 있습니다.

     • 실행 시간이 짧거나 일관성이 있는 작업일수록 상자가 좁아집니다.

     • 변동이나 이상치가 더 큰 동작은 범위 밖에 더 넓은 상자나 점이 표시됩니다.

2. 필요한 경우 대시보드의 날짜 범위를 업데이트하고, 채널에서 상호작용 유형을 선택하고, Copilot조종사 프로필에서 구성 또는 페르소나를 선택합니다. 쿼리 실행을 클릭합니다. 세 개의 그래프는 원하는 날짜, 채널 및 Copilot 프로필을 반영하도록 업데이트됩니다.

3. 그래프에 나타나는 데이터를 사용자 정의할 수 있습니다.

   • 시간별 및 작업별 그래프에서 범례를 클릭하면 에이전트 작업이 제안, 실행 및 거부되는 방식을 표시하거나 숨길 수 있습니다.

   • 시간 경과 및 작업별 그래프에서 절대 수치 또는 백분율을 클릭하여 백분율과 절대 수치 사이를 전환합니다.

   • 모든 그래프에서 최대화를 클릭하면 데이터를 표 형식으로 볼 수 있습니다.

4. 아래로 스크롤하여 작업 이름별로 그룹화된 성과 데이터를 보고, 사용자는 특정 작업이 어떻게 처리되는지 분석할 수 있습니다. 각 작업에 대한 내용은 다음과 같습니다.

   • 총 제안 횟수: 에이전트에게 해당 작업이 권장된 횟수입니다.

   • 총 실행 횟수: 에이전트가 실제로 작업을 수행한 횟수입니다.

   • 평균 실행: 평균 실행률로, 높은 성능을 나타내기 위해 녹색으로 강조 표시됩니다.

   • 전체 성공: 작업이 성공적인 결과로 이어진 횟수입니다.

   • 평균 성공: 평균 성공률이며, 성과 수준을 나타내기 위해 파란색이나 빨간색과 같은 색상으로 강조 표시됩니다.

5. 작업 이름을 클릭하면 다음과 같은 특정 쿼리와 세부 정보가 표시됩니다.

   • 선택한 작업에 연결된 개별 상호작용 목록입니다.

   • 상호작용 ID, 쿼리 텍스트, 에이전트 이름, 기술 세트, 팀 이름, 봇 이름, 의도 상태와 같은 주요 세부 정보입니다.

   • 작업이 어떻게 실행되었는지에 대한 더 자세한 맥락을 제공하기 위해 타임스탬프가 찍힌 봇의 답변이 제공됩니다.

   • 실행 시간, 성공 횟수, 성공률과 같은 성과 지표는 사용자가 각 작업의 효과를 평가하는 데 도움이 됩니다.

   • 각 쿼리에 대해 다음을 수행할 수 있습니다.

     • 상호작용 오디오를 들으려면 상호작용 재생을 클릭하세요(가능한 경우).

     • 상호작용 옆에 있는 정보 버튼을 클릭하세요. 상호작용에 대한 쿼리 피드백을 볼 수 있습니다.

6. 이 데이터를 보는 방법을 전환할 수 있습니다. 기본 보기는 작업 이름 기준입니다. 그룹화 기준을 클릭하여 그룹화를 작업 이름에서 상호 작용 ID로 변경하거나 드롭다운 메뉴에 나열된 다른 옵션으로 변경합니다. 새로운 그룹화를 기반으로 데이터가 다시 나타납니다.

7. 쿼리 빌더에서 설정한 필터에 따라 표시되는 데이터와 숨겨진 데이터를 모두 다운로드하려면 내보내기 섹션을 참조하세요.

생성형 응답에 대한 데이터 보기

생성적 응답은 통화 중에 자동으로 생성되는 답변입니다.

1. 생성형 응답 레이블을 클릭하여 통계를 자세히 살펴보세요. 세 개의 그래프가 나타납니다.

   • 시간 경과에 따른: 시간 경과에 따라 사용, 수정, 무시되거나 답변이 없는 답변의 비율을 보여줍니다.

   • 카테고리별: 카테고리별로 세부 정보를 표시합니다.

   • 상호작용당 평균 Kb: 하루 평균 지식 기반 상호 작용 수를 보여줍니다.

2. 그래프에 나타나는 데이터를 사용자 정의할 수 있습니다.

   • 시간 경과에 따른 및 범주별 그래프에서 범례를 클릭하면 다양한 답변 상태의 표시를 전환할 수 있습니다.

   • 시간 경과에 따라 및 범주 그래프에서 절대 수치 또는 백분율 을 클릭하여 백분율과 절대 수치 사이를 전환합니다.

   • 세 개의 그래프 모두에서 최대화를 클릭하면 데이터를 표 형식으로 볼 수 있습니다.

3. 아래로 스크롤하여 범주별로 그룹화된 데이터를 확인하세요. 카테고리 보기는 지식 베이스 답변을 다양한 카테고리로 구성하여 분석에 대한 체계적 접근법을 제공합니다. 각 카테고리에는 다음이 포함됩니다.

   • 상담원 이름

   • 팀

   • 스킬

   • 지식베이스 답변의 총 볼륨

   • 평균 준수 점수

   • 제공된 링크 및 이미지의 평균 수

   • 평균 지식 점수(지식 기반에서 할당한 점수)

4. 카테고리를 클릭하면 다음과 같은 특정 질의와 세부 정보가 표시됩니다.

   • 지식 베이스에 쿼리가 전송되었습니다.

   • 제안된 지식 기반 답변

   • 에이전트의 실제 응답

   • 제공된 링크 및 이미지 수

   • 쿼리 피드백

   • 준수 점수(제안된 응답과 실제 응답 간의 유사성)

   • 상호작용 시작부터 오프셋

   각 쿼리에 대해 다음을 수행할 수 있습니다.

   • "재생 상호 작용 을 클릭하여 상호 작용의 오디오를 듣습니다(사용 가능한 경우)."

   • 쿼리 옆에 있는 정보 버튼을 클릭하세요. 상호작용에 대한 쿼리 피드백을 볼 수 있습니다. 오른쪽의 응답 세부 정보 패널에서 AI가 생성한 응답이 긍정적 또는 부정적피드백을 받았는지 확인할 수 있으며, 제공된 모든 의견과 태그도 확인할 수 있습니다.

5. 이 데이터를 보는 방법을 전환할 수 있습니다. 기본 보기는 카테고리별입니다. 그룹화 기준을 클릭하여 그룹화를 범주에서 다음 중 하나로 변경하세요.

   • 마스터 컨택

   • 팀

   • 스킬

   • 상담원 이름

   새로운 그룹화를 기반으로 데이터가 다시 나타납니다.

상담원 쿼리에 대한 데이터 보기

상담원 쿼리는 에이전트 질문을 기반으로 주문형으로 생성된 지식 기반 답변에 대한 정보를 표시합니다. 직접 질의 상태와 준수 점수를 보여주는 그래프를 제공합니다.

1. 통계를 자세히 살펴보려면 차트 제목 상담원 쿼리를 클릭하세요. 첫 번째 그래프는 시간 경과에 따른 응답 비율과 무응답 비율을 보여줍니다. 두 번째 그래프는 카테고리별 세부 정보를 표시합니다.

2. 범례를 클릭하면 다양한 답변 상태의 표시를 전환할 수 있습니다.

3. 절대 번호 또는 백분율 을 클릭하여 백분율과 절대 번호 사이를 전환합니다.

"

4. 그래프를 전체 화면으로 보려면 최대화 를 클릭하세요."

5. 아래로 스크롤하면 카테고리별로 그룹화된 데이터가 표시됩니다. 카테고리 보기는 지식 베이스 답변을 다양한 카테고리로 구성하여 분석에 대한 체계적 접근법을 제공합니다. 각 카테고리의 내용:

   • 응답 총량

   • 무응답의 수와 평균

   • 제공된 링크 및 이미지의 평균 수

   • 평균 지식 점수(지식 베이스에서 할당한 점수)

6. 카테고리를 클릭하면 다음과 같은 특정 질의와 세부 정보가 표시됩니다.

   • 지식베이스에 에이전트 쿼리가 전송되었습니다.

   • 에이전트 질의에 대한 응답

   • 제공된 링크 및 이미지 수

   • 응답 날짜 및 시간

   "

   • 평균 지식 점수

를 통해 AutoSummary쿼리에 대한 데이터 보기

AutoSummary는 요약 성과에 대한 포괄적인 보기를 제공합니다." 시간 경과에 따른 성과를 추적하는 그래프를 볼 수 있으며, 데이터는 의도와 기술에 따라 그룹화되어 있습니다. 자세한 표에는 실제 요약과 함께 제안된 요약이 표시되어 있으며, 정확성을 가늠하기 위한 준수 점수도 함께 제공됩니다. 더욱 포괄적인 세부 정보를 얻으려면 특정 상호작용을 재생하면 요약이 생성되고 실제 대화에서 사용되는 방식에 대한 전체적인 그림을 얻을 수 있습니다.

자동 생성된 요약은 CXone Observability Dashboard 및 CXone 비 ACD 클라이언트 모두에 대해 ACD에서 지원됩니다. 상호작용이 종료된 후 요약 데이터가 대시보드에 나타나기까지 최대 15분이 걸릴 수 있습니다. 이러한 지연을 통해 요약이 완전히 처리되고 기록된 후 표시됩니다.

1. 통계를 자세히 알아보려면 차트 제목인 AutoSummary을 클릭하세요.

   • 첫 번째 그래프는 시간 경과에 따라 사용된 요약의 비율을 보여줍니다. 요약은 다음 방식 중 하나로 사용되는 것으로 식별됩니다: 있는 그대로, 개정됨, 간소한 수정 포함, 무시됨.

   • 두 번째 그래프는 인텐트별 세부 정보를 표시합니다.

   • 세 번째 그래프는 스킬별 세부 정보를 표시합니다.

   • 네 번째 그래프는 팀별 세부 정보를 표시합니다.

   범례를 클릭하면 다양한 답변 상태의 표시를 전환할 수 있습니다.

2. 절대 번호 또는 백분율 을 클릭하여 백분율과 절대 번호 사이를 전환합니다.

"

3. 그래프를 전체 화면으로 보려면 최대화 를 클릭하세요."

4. 아래로 스크롤하면 카테고리별로 그룹화된 데이터가 표시됩니다. 카테고리 보기는 지식 베이스 답변을 다양한 카테고리로 구성하여 분석에 대한 체계적 접근법을 제공합니다. 각 카테고리의 내용:

   • 에이전트 이름

   • 응답 총량

   • 무응답의 수와 평균

   • 제공된 링크 및 이미지의 평균 수

   • 평균 지식 점수(지식 베이스에서 할당한 점수)

5. 카테고리를 클릭하면 다음과 같은 특정 질의와 세부 정보가 표시됩니다.

   • 지식베이스에 에이전트 쿼리가 전송되었습니다.

   • 에이전트 질의에 대한 응답

   • 전체 피드백

   • 제공된 링크 및 이미지 수

   • 응답 날짜 및 시간

   • 평균 지식 점수

   • 준수 점수

6. AutoSummary에서 준수 점수는 다음 접근 방식을 사용하여 LLM에 의해 결정됩니다.

   • LLM은 정확한 문구보다는 텍스트의 의미를 비교합니다.

   • 실제 요약과 제안된 요약 텍스트의 의미가 같으면 점수가 높습니다.

   • 제안된 요약에 실제 요약에 없는 사소한 수정 사항과 같은 추가 세부 정보가 포함되어 있는 경우 점수는 중간입니다.

   • 제안된 요약과 실제 요약 텍스트의 맥락이 다르면 점수가 낮습니다.

   • 실제 요약이 없는 경우, 예를 들어 사용자가 요약을 물리적으로 저장하지 않은 경우 점수가 부여되지 않으며 에이전트가 요약을 저장하지 않음으로 표시됩니다.

7. 쿼리 옆에 있는 정보 버튼을 클릭하세요. 상호작용에 대한 전반적인 피드백을 볼 수 있습니다. 오른쪽의 응답 세부 정보 패널에서는 상호작용이 긍정적 피드백을 받았는지, 부정적피드백을 받았는지 확인할 수 있으며, 제공된 모든 의견과 태그도 확인할 수 있습니다.

비즈니스 영향 보기

비즈니스 영향 보기는 에이전트 활동에 영향을 받는 주요 성과 지표에 대한 통합된 보기를 제공하는 대시보드 내의 동적 패널입니다.Copilot 이 솔루션은 애프터 콜 작업(ACW 상담원이 인터랙션을 종료한 후 작업 요구 사항을 완료할 수 있는 상태) 및 평균 처리 시간(AHT 상담원이 인터랙션을 처리하는 데 소요된 평균 처리 시간입니다.) 에이전트 성과 지표와 같은 운영 추세에 대한 시각적 통찰력을 제공합니다. 이 메뉴를 확장하면 월별 추세를 분석하고, 특정 팀, 기술 또는 에이전트에 초점을 맞춘 필터를 적용하고, 선택한 범주에서 성과 평균을 비교할 수 있습니다. 비즈니스 영향 보기의 날짜 범위 및 필터 옵션은 Observability Dashboard의 옵션과 독립적입니다.

1. 비즈니스 영향 메뉴를 열려면 Copilot 대시보드 하단에 있는 위쪽 화살표를 클릭하세요. 이 작업은 하단 패널을 확장하여 자세한 성능 측정 항목을 표시합니다.

   • ACW 상담원이 인터랙션을 종료한 후 작업 요구 사항을 완료할 수 있는 상태 그래프

   • AHT 상담원이 인터랙션을 처리하는 데 소요된 평균 처리 시간입니다. 그래프

2. 대시보드 상단에서 대시보드 날짜 범위를 업데이트하여 ACW 및 AHT 데이터를 보려는 기간을 정의합니다. 지난 2일, 지난 7일, 이번 달과 같은 사전 설정된 옵션 중에서 선택하거나 사용자 지정 범위를 설정할 수 있습니다. 기본적으로 날짜 범위는 Copilot 대시보드에 정의된 범위와 동일합니다. 선택하면 그래프가 자동으로 업데이트되어 해당 범위 내 각 월의 평균 ACW 및 AHT 기간이 표시됩니다.

3. 필터 기준 옵션을 사용하여 팀, 기술 또는 에이전트 이름을 기준으로 데이터를 좁힙니다. 필터 유형당 최대 5개의 값을 선택할 수 있습니다. 예를 들어, 5개의 팀, 5개의 기술 또는 5개의 에이전트 이름을 선택합니다. 필터를 적용하여 다양한 그룹이나 개인의 성과를 비교합니다.

4. ACW 및 AHT 그래프에서 필터 범주를 제거하려면 선택한 팀, 기술 또는 에이전트 이름 옆에 있는 X 아이콘을 클릭합니다. 범주를 제거하면 그래프가 자동으로 업데이트되어 시각화에서 해당 범주가 제외됩니다.

5. 대시보드에는 모든 기술 평균, 모든 팀 평균, 모든 에이전트 이름 평균이라는 측정 항목이 있습니다. 적용한 필터에 따라 동적으로 나타납니다. 기술로 필터링하면 그래프에 모든 기술 평균이 표시됩니다. 선택한 기술 그룹 전체의 평균 ACW 및 AHT 기간을 표시하는 선입니다. 마찬가지로 팀 또는 에이전트 이름으로 필터링하면 모든 팀 평균이 표시됩니다. 또는 모든 에이전트 이름 평균 각기.

6. 그래프 해석:

   • 상승 추세: 시간의 증가를 나타냅니다. ACW의 경우 상담원은 통화 후 업무에 더 많은 시간을 할애합니다. AHT의 경우 통화 처리에 시간이 더 오래 걸립니다.

   • 하향 추세: 시간이 감소함을 나타냅니다. ACW의 경우 상담원이 통화 후 업무를 더 빨리 완료합니다. AHT의 경우 통화가 더 효율적으로 처리됩니다.

   • 갑작스러운 급증 또는 감소: 작업 부하, 프로세스 또는 도구 사용의 변화를 나타낼 수 있습니다. 원인을 파악하려면 이러한 사항을 검토해야 합니다.

ACW 데이터 보기

ACW(통화 후 작업) 그래프는 상담원이 매달 통화 후 작업에 얼마나 많은 시간을 사용하는지 추적하는 데 도움이 되며, 모든 통화에 대한 평균 기간을 보여줍니다. ACW는 상담원이 고객과의 통화를 종료한 후 메모 작성, 시스템 업데이트, 상호작용 태그 지정 등 작업을 완료하는 데 소요되는 시간을 말합니다. 평균 ACW 기간은 선택한 기간 동안 처리된 통화 수로 모든 통화의 총 ACW 시간을 나누어 계산합니다.

평균 ACW = 모든 통화에 대한 총 ACW 시간 / 통화 수

이 그래프를 사용하면 팀, 기술 및 개별 에이전트 간의 성과를 비교하고, 작업 부하의 패턴이나 비정상적인 변화를 파악하고, 정보에 입각한 결정을 내릴 수 있습니다. 또한, 이는 시간이 지남에 따라 특정 팀, 기술 또는 에이전트의 ACW가 증가하거나 감소하는지 여부를 나타내는 데 도움이 됩니다. 예를 들어, 상승선은 통화 후 업무량이 증가함을 나타내는 반면, 하락 추세는 효율성 향상이나 프로세스 변경을 시사할 수 있습니다.

ACW 그래프는 선 그래프로 표현되며, X축은 선택한 날짜 범위를 기준으로 월 단위의 시간을 나타내고, Y축은 일반적으로 초 또는 분 단위로 측정되는 평균 ACW 기간을 나타냅니다. 그래프의 각 데이터 포인트는 해당 월의 평균 ACW를 반영합니다. 그래프에는 마우스를 올려 정확한 값을 보는 기능, 적용된 필터와 날짜 범위에 따른 동적 업데이트, 선택한 필터를 쉽게 참조할 수 있도록 표시하는 범례 등의 대화형 기능이 포함되어 있습니다.

AHT 데이터 보기

AHT(평균 처리 시간) 그래프는 상담원이 매달 고객 상호작용을 처리하는 데 소요하는 시간을 추적하는 데 도움이 되며, 모든 통화에 걸친 평균 지속 시간을 보여줍니다. AHT에는 통화 시간, 대기 시간, 통화 후 작업(ACW) 등 전체 상호작용 시간이 포함됩니다. 평균 AHT 기간은 선택한 기간 동안 처리된 통화 수로 모든 통화의 총 처리 시간을 나누어 계산합니다.

평균 AHT = 모든 통화에 대한 총 처리 시간 / 통화 수

이 그래프를 사용하면 팀, 기술 및 개별 에이전트 간의 성과를 비교하고, 상호 작용 기간의 패턴이나 비정상적인 변화를 파악할 수 있습니다. AHT 그래프의 추세는 시간 경과에 따른 특정 팀, 기술 또는 에이전트의 AHT 증가 또는 감소를 파악하는 데 도움이 될 수 있습니다. 예를 들어, 상승선은 복잡성이나 비효율성으로 인해 고객 상호작용이 길어졌음을 나타내는 반면, 하락 추세는 간소화된 프로세스, 향상된 상담원 성과 또는 더 나은 시스템 지원을 나타낼 수 있습니다.

AHT 그래프는 선 그래프로 표현되며, X축은 선택한 날짜 범위를 기준으로 월 단위의 시간을 나타내고, Y축은 일반적으로 초 또는 분 단위로 측정되는 평균 AHT 기간을 나타냅니다. 그래프의 각 데이터 포인트는 해당 월의 평균 AHT를 반영합니다. 그래프에는 마우스를 올려 정확한 값을 보는 기능, 적용된 필터와 날짜 범위에 따른 동적 업데이트, 선택한 필터를 쉽게 참조할 수 있도록 표시하는 범례 등의 대화형 기능이 포함되어 있습니다.

Autopilot Knowledge

"Observability Dashboard에 대한 Autopilot Knowledge는 자동화 시스템이 고객 질문을 얼마나 잘 처리하는지에 대한 데이터를 보여줍니다." 시간 경과에 따른 성과 추세를 표시하는 그래프가 표시됩니다. 이를 통해 매일, 매주 또는 매월 변경 사항을 추적할 수 있습니다.

1. 앱 선택기를 클릭하고 Actions을(를) 선택합니다.

2. Actions에서 Observability Dashboard을 클릭하세요.

3. Autopilot Knowledge 탭을 클릭합니다. 대시보드에 대해 원하는 날짜 범위를 설정하고 쿼리 실행을 클릭합니다. 세 개의 차트가 표시됩니다.

   • 전체적 효과

   • GenAI 성과

   • Bot 성과

전체적 효과에 대한 데이터 보기

이 그래프는 Autopilot Knowledge 챗봇의 성능과 상태에 대한 간략한 요약을 표시합니다.

1. 전체적 효과 그래프 제목을 클릭하여 통계를 자세히 살펴보세요. 4개의 그래프가 나타납니다.

   • 참여: 챗봇에 참여한 방문자 수를 표시하여 시간 경과에 따른 참여 추세를 파악하는 데 도움이 됩니다.

   • 포함됨: 실시간 상담원에게 에스컬레이션할 필요 없이 대화를 완료한 챗봇 사용자의 백분율과 수를 표시합니다. 이 지표를 사용하면 챗봇이 얼마나 효과적으로 질의를 독립적으로 해결하는지 평가할 수 있습니다.

   • 높음: 대화를 실시간 상담원에게 전달한 챗봇 사용자의 백분율과 수를 표시하며, 인간의 개입이 필요한 사례를 강조 표시합니다. 이 지표를 사용하면 챗봇이 대화를 인간 상담원에게 얼마나 자주 넘기는지 모니터링할 수 있습니다.

   • 포기됨: 진행 중인 대화를 포기한 챗봇 사용자의 백분율과 수를 표시합니다. 이 지표를 사용하면 이탈 지점을 파악하고 사용자 참여를 개선할 수 있습니다.

2. 그래프에 나타나는 데이터를 사용자 정의할 수 있습니다.

   • 절대 번호 또는 백분율 을 클릭하여 백분율과 절대 번호 사이를 전환합니다.

   • 그래프를 전체 화면으로 보려면 최대화 를 클릭하세요.

GenAI 성능에 대한 데이터 보기

이 그래프는 생성 AI 엔진이 사용자 질의 중 효과적으로 처리한 비율을 보여줍니다.

1. GenAI성능 레이블을 클릭하여 통계를 자세히 살펴보세요. 세 개의 그래프가 나타납니다.

   • 시간 경과에 따른 : 시간 경과에 따른 챗봇 응답 비율을 표시합니다.

   • 카테고리별: 카테고리별 챗봇 응답 비율을 표시합니다.

   • 생성 모델에 대한 쿼리: 생성 엔진에서 처리된 챗봇 쿼리의 총 수와 백분율을 표시합니다. 이 지표는 생성 엔진이 사용자 상호작용을 처리하는 데 얼마나 자주 활용되는지에 대한 통찰력을 제공합니다.

2. 그래프에 나타나는 데이터를 사용자 정의할 수 있습니다.

   • 시간 경과 및 범주 그래프에서 다양한 답변 상태 표시를 전환하려면 그래프에서 응답 또는 응답 없음 범례를 클릭합니다.

   • 절대 번호 또는 백분율 을 클릭하여 백분율과 절대 번호 사이를 전환합니다.

   • 그래프를 전체 화면으로 보려면 최대화를 클릭하세요.

3. 아래로 스크롤하여 범주별로 그룹화된 데이터를 확인하세요. 카테고리 보기는 지식 베이스 답변을 다양한 카테고리로 구성하여 분석에 대한 체계적 접근법을 제공합니다. 각 카테고리에는 다음이 포함됩니다.

   • 응답 총량

   • 무응답 총 수

   • 제공된 링크 및 이미지의 평균 수

   • 평균 지식 점수(지식 기반에서 할당한 점수)

4. 카테고리를 클릭하면 다음과 같은 특정 질의와 세부 정보가 표시됩니다.

   • 상호작용의 연락처

   • 챗봇 상호작용을 시작한 쿼리

   • 사용자의 입력, 의도, 맥락에 따라 챗봇이 응답합니다.

   • 제공된 링크 및 이미지 수

   • 응답 날짜 및 시간

   • 평균 지식 점수.

5. 이 데이터를 보는 방법을 전환할 수 있습니다. 기본 보기는 카테고리별입니다. 그룹화 기준을 클릭하여 그룹화를 범주에서연락처 번호로 변경합니다. 새로운 그룹화를 기반으로 데이터가 다시 나타납니다.

Bot 성과에 대한 데이터 보기

이 그래프는 챗봇 의도의 분포를 표시하며, 가장 흔한 사용자 요청 6개와 대체 발생 사항을 강조합니다. 이를 통해 사용자가 무엇을 묻고, 챗봇이 어떻게 응답하는지 이해하는 데 도움이 됩니다.

1. Bot 성과 레이블을 클릭하면 통계를 자세히 살펴볼 수 있습니다. 두 개의 그래프가 나타납니다.

   • 모든 Bot 인텐트: 가장 일반적인 사용자 요청과 대체 사례를 표시하여 챗봇의 응답 방식을 개선하는 데 도움이 됩니다.

   • 포기 지표: 사용자가 대화를 포기하기 전에 가장 흔했던 챗봇 의도를 표시합니다. 이는 이탈 지점을 파악하고 사용자 유지율을 개선하는 데 도움이 됩니다.

2. 그래프에 나타나는 데이터를 사용자 정의할 수 있습니다.

   • 절대 번호 또는 백분율 을 클릭하여 백분율과 절대 번호 사이를 전환합니다.

   • 그래프를 전체 화면으로 보려면 최대화를 클릭하세요.

Autopilot

"Observability Dashboard에 대한 Autopilot은 지식 기반이 고객 질문을 얼마나 잘 처리할 수 있는지 보여줍니다." 이 대시보드를 사용하면 지식 기반에 더 많은 문서를 추가할 수 있는 분야를 찾거나 고객의 질문에 더 잘 답변할 수 있도록 문서를 사용자 지정할 수 있습니다.

1. 앱 선택기를 클릭하고 Actions을(를) 선택합니다.

2. Actions에서 Observability Dashboard을 클릭하세요.

3. Autopilot 탭을 클릭합니다. GenAI 성능 그래프를 표시합니다.

4. 대시보드에 대해 원하는 날짜 범위를 설정하고 쿼리 실행을 클릭합니다.

GenAI 성능에 대한 데이터 보기

이 그래프는 AI 엔진으로부터 관련성 있고 완전한 답변을 받은 사용자 질문의 수를 보여줍니다.

1. GenAI성과 라벨을 클릭하면 지정된 기간 동안 질문된 내용과 제공된 문서에 대한 세부 정보를 볼 수 있습니다.

   두 개의 그래프가 나타납니다.

   • 시간 경과에 따른 그래프: 특정 기간 동안 성공적인 응답과 응답하지 않은 응답의 수를 보여줍니다. 응답은 사용자에게 기사가 표시되었음을 나타냅니다. 무응답은 일치하는 기사를 찾을 수 없음을 나타냅니다.

   • 카테고리별 그래프: 카테고리별로 성공한 응답과 응답하지 않은 응답의 수를 보여줍니다.

   그래프에서 데이터의 모양을 사용자 지정할 수 있습니다.

   • 백분율과 절대 숫자 사이를 전환하려면 절대 숫자 또는 백분율 을 클릭합니다.

   • 그래프를 전체 화면으로 보려면 최대화 를 클릭하세요.

   • 다양한 답변 상태 표시를 전환하려면 그래프에서 응답 또는 응답 없음 범례를 클릭하세요.

2. 그래프 아래로 스크롤하여 쿼리에 대한 세부 정보를 제공하는 표를 확인하세요. 질의는 범주별로 그룹화됩니다.

3. 카테고리를 클릭하면 구체적인 질의와 제공된 답변이 표시됩니다. 이를 사용하여 지식 기반에서 기사가 누락된 영역을 파악하세요.

AI 기반 지식 문서 생성

1. 앱 선택기를 클릭하고 Actions을(를) 선택합니다.

2. Actions에서 Observability Dashboard을 클릭하세요.

3. 자세한 통계를 보려면 생성적 반응 레이블을 클릭하세요.

4. 범주별로 그룹화된 데이터 섹션까지 아래로 스크롤하세요. 특정 쿼리를 보려면 카테고리를 클릭하세요.

5. 쿼리를 선택하고 정보 버튼을 클릭하세요.

6. 오른쪽의 응답 세부 정보 패널에서 기사 만들기를 클릭합니다. AI가 작성한 기사는 필사본을 토대로 초안을 작성합니다. 필요에 따라 기사를 편집한 후 게시할 수 있습니다.

   기사 편집 및 게시에 대한 자세한 내용은 지식 생성 도움말을 참조하세요.

7. 기사가 이미 게시된 경우기사 만들기아이콘이 보라색으로 나타나고 체크 표시 가 있습니다. 즉, 지식 문서는 누구나 볼 수 있으며, 다른 사람이 작성한 문서라도 볼 수 있습니다.

Observability Dashboard에서 데이터 내보내기

1. 앱 선택기를 클릭하고 Actions을(를) 선택합니다.

2. Actions에서 Observability Dashboard을 클릭하세요.

3. 자세한 통계를 보려면 생성적 반응 레이블을 클릭하세요.

4. 범주별로 그룹화된 데이터 섹션까지 아래로 스크롤하세요. 내보내기 를 클릭합니다. 쿼리 빌더에서 설정한 필터에 따라 표시된 데이터와 숨겨진 데이터를 모두 다운로드할 수 있습니다.

5. Observability Dashboard에서 데이터를 내보낼 때 스프레드시트의 일부 필드는 숫자 코드로 표시됩니다. 이러한 코드는 아래에 표시된 대로 특정 태그와 피드백 유형에 해당합니다.

   태그	값
   정확	1
   부정확	2
   완료	3
   미결	4
   관련 있음	5
   관련 없음	6
   느림	7
   기타	8

   피드백 유형	값
   긍정적	1
   부정적	2

옵저버빌리티 Copilot

Observability Copilot은 자연어를 사용하여 Observability 대시보드와 상호 작용하는 데 도움이 되는 AI 기반 도우미입니다. 이를 통해 시스템 데이터를 분석하고, 범주와 의도를 동적으로 관리하고, 실행 가능한 통찰력을 얻어 운영 효율성을 개선할 수 있습니다.

Observability Copilot에 액세스하기

1. Observability Dashboard을(를) 엽니다.

2. Sparkle AI 아이콘을 선택하여 Observability Copilot 패널을 시작합니다.

Observability Copilot에서 대화 시작 및 관리

대화를 시작하려면:

1. Copilot 패널에서 아래쪽에 있는 입력 필드를 찾으세요.

2. 자연어를 사용하여 질문이나 명령을 입력하세요.

   예: “지난 1년 동안 기타 카테고리의 생성 응답 통계는 어땠는지 알려주세요?”

3. Enter를 눌러 질문을 제출하세요.

4. Copilot은 귀하의 질의에 따라 자세하고 체계적인 답변을 제공합니다.

   

5. Observability Copilot에서 이전 쿼리를 탐색하려면 위쪽(↑) 및 아래쪽(↓) 화살표 키를 사용하세요.

쿼리를 편집하고 다시 제출하려면:

1. 대화 기록에서 가장 최근의 질문을 찾으세요.

2. 쿼리 텍스트를 클릭하세요. 선택한 쿼리는 패널 하단의 입력 필드에서 편집할 수 있게 됩니다.

3. 필요에 따라 쿼리를 수정하세요. 문구를 업데이트하고, 오타를 수정하고, 결과를 구체화하기 위해 쿼리 매개변수를 변경하거나 전체 쿼리를 업데이트하세요.

   예:

   원래 쿼리: "2023년 청구 카테고리에 대한 응답 통계를 보여주세요."

   업데이트된 쿼리: "2023년 1분기 청구 카테고리에 대한 응답 통계를 보여주세요."

4. 업데이트된 쿼리를 제출하려면 Enter를 누르세요.

5. Copilot는 수정된 입력을 처리하고 업데이트된 쿼리를 기반으로 새로운 응답을 반환합니다.

카테고리 및 인텐트 관리

자연어 명령을 사용하여 대시보드에서 직접 카테고리와 의도를 추가, 제거, 이름 변경할 수 있습니다. 명령을 입력하고 Enter를 눌러 변경 사항을 적용하세요.