봇 검토 및 개선

이 페이지에서는 봇의 성능을 개선하기 위해 CXone Bot Builder에서 대화 데이터를 검토하는 방법에 대한 정보를 제공합니다. 이는 봇 구현 프로세스의 다섯 번째 단계입니다.

봇의 초기 사용 사례를 구성하고 테스트를 시작한 후, Bot Builder은(는) 현재 구성이 얼마나 효과적인지 검토하는 데 사용할 수 있는 데이터를 얻습니다. 처음에는 데이터가 봇과의 테스트 대화에서 나옵니다. 이후에 봇을 프로덕션에 배포한 후, 데이터에는 컨택과의 실시간 대화가 포함됩니다.

이 데이터를 검토하면 봇의 성능을 개선할 수 있는 부분을 파악할 수 있습니다. 봇의 성능은 의도를 얼마나 정확하게 예측하는지로 타나냅니다. 봇이 의도를 잘못 예측하면 컨택이 목표를 달성하기가 더 어렵습니다.

Glossary

개념	정의	예시	Bot의 기능
발화	인터랙션 중에 컨택이 말하는 모든 내용입니다. 때로는 메시지라고도 불립니다.	"비밀번호를 잃어버렸어요." "내 잔액은 얼마입니까?" "당신은 봇입니까?"	Bot은 자연어 이해(NLU)를 사용하여 각 컨택의 발화를 분석하여 의미 또는 의도를 파악합니다.
의도	컨택이 전달하거나 달성하고자 하는 것 컨택이 전송하는 모든 메시지에는 의도가 있습니다.	"비밀번호를 분실했습니다"는 "비밀번호 재설정"을 의미합니다. '안녕하세요'는 '인사'의 뜻을 담고 있습니다.	Bot은 NLU 이해하는 내용에 따라 결정을 내리거나 작업을 수행하기 위해 자연어 처리(NLP)를 확장하는 프로세스입니다.를 사용하여 컨택의 메시지를 분석하여 의도를 파악합니다. 알게 되면, 자신의 메시지를 보내 응답할 수 있습니다. 각 의도에 대해 Bot이 사용할 응답을 구성합니다.
엔터티	컨택의 메시지에 정의된 정보입니다.	사람 또는 제품 이름, 전화 번호, 계정 번호, 위치 등.	Bot은 NLU를 사용하여 컨택의 메시지에 있는 엔터티를 식별합니다. 엔터티는 Bot이 컨택의 메시지 의미를 이해하는 데 도움이 됩니다.
슬롯	컨택의 메시지에서 추출하여 Bot 응답에 사용하기 위해 저장하는 엔터티입니다. 변수와 비슷합니다.	컨택 이름에 대한 슬롯을 만들면 봇이 상호작용 중 응답에 해당 이름을 사용할 수 있으므로 더 개인화할 수 있습니다.	이렇게 구성된 경우, Bot은 컨택의 메시지에서 엔터티를 추출하여 슬롯에 저장합니다. 이 정보를 나중에 대화에서 Bot이 활용할 수 있습니다.
규칙	컨텍스트에 따라 의미가 바뀌지 않는 메시지에 대한 Bot의 응답을 정의합니다.	고정 응답이 있는 일회성 상호작용: 근무 시간은 어떻게 됩니까? 주소는 어떻게 되십니까? 대화 구성 요소: 인사말, 작별 인사, 감사 인사 및 전환, 간단한 예/아니오 질문, 감사의 말. CXone Bot Builder은(는) 인사말, 전환 라이브 상담원으로의 전환이 트리거되는 컨택 메시지 요청 등을 포함하여 이들 중 몇 가지에 대한 기본 의도 및 규칙과 함께 제공됩니다. 자주 묻는 질문 모욕과 일반적인 봇 문제점	규칙은 Bot이 의도에 어떻게 응답할지 구성할 수 있는 두 가지 방법 중 하나입니다. 규칙은 특정 종류의 의도에는 유용하지만, 모든 의도에 유용한 것은 아닙니다.
스토리	메시지 의도와 대화 컨텍스트에 따라 인터랙션을 처리하도록 Bot을 훈련합니다.	잊어버린 비밀번호에 대한 상호작용에서, 봇은 한 가지 방식으로 "어떻게 해야하죠?"에 응답하게 됩니다. 상호작용이 새 계정을 만드는 것에 관한 것이라면 두 경우 모두 컨택이 더 많은 정보를 얻기 위해 같은 의도로 같은 단어를 사용하더라도 응답은 상당히 다를 것입니다.	스토리는 Bot이 의도에 어떻게 반응하는지 구성할 수 있는 두 가지 방법 중 두 번째입니다. 스토리는 Bot이 대화의 컨텍스트를 이용해 적절하게 대응하는 방법을 가르쳐줍니다.
Bot 작업	상호작용을 처리하는 동안 봇이 말하거나 수행하는 모든 것.	잊어버린 암호에 대한 인터랙션에서 Bot은 웹사이트의 암호 재설정 FAQ로 가는 링크를 전송하여 응답합니다. 컨택이 "이해가 안 돼요! 작동하지 않아요!!!"와 같은 좌절감을 표현하면 Bot은 "죄송합니다. 인간 상담원에게 연결해 드릴까요?"라고 응답합니다. 컨택이 동의하면 Bot이 전환을 시작합니다.	작업은 Bot이 각 의도에 어떻게 응답할지 정의할 때 사용할 수 있는 옵션입니다. 이러한 옵션을 사용하면 컨택의 요구사항을 충족하는 결과를 얻기 위해 각 응답을 구성할 수 있는 유연성이 제공됩니다.

대화 데이터 검토

모든 대화 봇 핸들을 검토할 수 있습니다. 이렇게 하면 봇이 어떻게 응답하는지, 봇이 어떤 부분에서 어려움을 겪는지, 컨택이 봇과 상호작용하는 방식 및 발생하는 문제를 직접 확인할 수 있습니다. 이 정보는 봇의 의도 컨택이 말하거나 입력하는 내용의 의미나 목적이며 컨택이 전달하고자 하는 내용이나 원하는 내용입니다., 규칙 컨텍스트에 따라 변경되지 않는 메시지에 대한 Bot의 응답을 정의하는 데 사용됩니다. 및 스토리 의도 및 컨텍스트를 기반으로 인터랙션 처리를 위해 Bot을 훈련하는 데 사용됩니다.를 개선하는 데 사용할 수 있으므로 매우 중요합니다.

Bot Builder에서 다음 옵션을 사용하여 대화 데이터를 검토할 수 있습니다.

인사이트: Bot에 대한 보고 및 실시간 대화형 분석 기능을 제공합니다.
NLU 받은 편지함: Bot 품질을 개선하기 위해 NLU 이해하는 내용에 따라 결정을 내리거나 작업을 수행하기 위해 자연어 처리(NLP)를 확장하는 프로세스입니다. 데이터를 관리하는 데 도움을 줍니다. 컨택에서 받은 모든 새 메시지를 표시합니다.
쿼리 검색: 검색창를 사용하여 NLU 받은 편지함 또는 인사이트 섹션에서 결과의 범위를 좁힙니다.

의도 평가

의도를 평가하고 조정하면 봇의 응답을 수정할 때 과제를 해결책으로 전환하는 데 도움이 될 수 있습니다. 모든 사용자 행동을 수용할 수는 없지만 공통적인 마찰 또는 불만 사항을 해결할 수 있습니다.

대화를 검토해 나가면서 의도 데이터를 평가하여 의도가 효과적이고 효율적인지 확인합니다. 컨택은 원하는 결과를 쉽게 달성할 수 있습니까? 그렇지 않다면, 의도가 충분히 구체적이지 않은지, 너무 구체적인지 또는 교육 데이터가 부적절한지 판단합니다.

봇은 컨택이 무엇을 원하는지 안정적으로 이해합니까? 그렇지 않다면, 봇이 확신하지 못하는 부분에 더 많은 교육 예제를 추가합니다.
의도들 중에서 본질적으로 동일할 만큼 유사한 것이 있습니까? 그렇다면, 보다 일반적인 의도 아래에 해당 의도를 결합하고 예제를 사용하여 봇이 다양한 시나리오를 인식하도록 훈련할 것을 고려하십시오.
컨택이 기존 의도로 처리되지 않는 내용을 말하고 있습니까? 그렇다면, 더 많은 의도를 추가하거나, 현재 의도에 교육 데이터를 추가할 것을 고려하십시오.

봇 응답 개선

Bot Builder에는 봇의 성능을 개선하는 데 도움이 되는 기능이 있습니다. 첫 번째 의도, 스토리 및 규칙 세트에서는 이러한 기능을 활용하지 못했을 수도 있습니다. 봇의 응답 방식을 개선하기 위해 노력할 때 다음 기능이 도움이 될 수 있습니다.

봇의 응답에서 다른 작업을 사용하여 응답을 더 매끄럽고, 사람과 유사하고, 사용자 친화적으로 만들 수 있는지 알기 위해 응답을 검토합니다.
의도 중 하나가 다중 의도일 수 있는지 여부를 고려합니다. 다중 의도는 컨택이 하나의 발화에서 두 개의 의도를 결합할 때 유용합니다. 예를 들어, 컨택이 단일 메시지로 고마워요. 안녕이라고 봇에게 말할 때, 컨택은 고맙다는 의도와 안녕이라는 의도를 결합하고 있는 것입니다.
이미 의도에서 매핑한 행복한 경로에 상응하는 불행한 경로 의도에 대해 잘못된 결과를 낳는 스토리를 식별합니다(아직 그렇게 하지 않은 경우). 이러한 문제를 처리하는 방법을 계획한 다음, 필요한 교육 사례와 함께 스토리나 규칙을 필요한 만큼 추가합니다.
어떤 엔터티 또는 슬롯이 필요한지 고려합니다. 엔터티는 대화에서 수집된 정보 조각입니다. 슬롯은 변수와 같으며 수집된 엔티티를 저장할 수 있습니다.
컨택으로부터 정보를 수집하여 슬롯을 채우는 프로세스를 단순화하기 위해 양식이 필요한지 결정합니다. 봇은 양식에 따라 질문을 하고 컨택으로부터 정보를 수집할 수 있습니다. 또한 봇이 컨택에 양식을 표시하도록 할 수도 있습니다.
봇 응답에서 리치 메시지, 봇 메시지의 변형, 스마트 입력, 폴백 및 안전망과 같은 추가 옵션을 구성합니다.

봇을 개선할 수 있는 상황

검토하는 동안, 봇에게 이후 더 나은 대화를 수행하는 방법을 가르칠 수 있습니다. 다음 목록에서는 개선이 필요한 상황과 할 수 있는 작업을 설명합니다.

낮은 의도 분류 신뢰도: 의도 분류는 정확하지만 봇의 확신이 낮은 경우, 봇이 더 확신할 수 있도록 의도에 대한 교육 데이터를 더 추가합니다. 교육 데이터는 의도 예제 및 스토리를 포함합니다. 의도 분류가 올바르지 않으면 변경해야 합니다.
낮은 봇 작업 예측 신뢰도: 봇이 이 상황에서 취할 조치에 대해 더 확신할 수 있도록 더 많은 교육 데이터를 추가하십시오.
사용자 불만: 여기에는 사람에게 전환(인계 라이브 상담원으로의 전환이 트리거되는 컨택 메시지) 요청, 이전에 말한 내용 반복 또는 모욕이 포함될 수 있습니다. 문제에 대한 더 많은 교육 데이터를 추가하거나 폴백에서 NLU 신뢰도 임계값을 조정합니다. 이렇게 하면 사용자를 돕는 방법이 확실하지 않을 때 봇이 더 빨리 인계하도록 알려줄 수 있습니다.
“범위 초과” 의도 또는 폴백 행동: 이는 사용자가 봇이 할 수 없는 것을 요청하거나 봇이 너무 일찍 폴백을 사용하는 것처럼 보일 수 있습니다. 잘못 분류된 의도를 확인하고 수정하여 봇이 상황을 단순히 오해한 것이 아닌지 확인하십시오. 봇에게 그 다음 행동을 보여주기 위해 새로운 스토리나 규칙을 추가하십시오.

폴백 및 안전망

봇을 검토하고 개선해 나가는 동안, 컨택이 봇 때문에 불만을 갖게 될 수 있는 부분을 파악할 수 있게 됩니다. 이 때가 폴백 및 안전망을 봇에 추가할 시점입니다.

폴백: 이는 봇이 진행 방법을 확신하지 못할 때 할 일을 알려줍니다. 폴백의 종류는 두 가지입니다.
- NLU 폴백: 봇이 컨택을 확실하게 이해하지 못했을 때 .
- 작업 폴백: 봇이 다음 동작을 예측하는 능력에 확신이 없을 때 .
안전망: 안전망을 사용하면 봇이나 봇이 연결된 시스템에 다른 문제가 생겼을 때 어떻게 처리하는지를 구성할 수 있습니다. 해당 문제에는 봇이 컨택에 응답하는 데 평소보다 오래 걸리는 등의 문제가 포함될 수 있습니다.

또한 이 시기는 봇이 자신의 영역을 벗어난 컨택 메시지에 응답할 수 있도록 범위를 벗어난 경로를 준비할 수 있는 좋은 기회입니다.