フォームと評価のキャリブレーション

Regardless of how well a form閉まっている エージェントの対話を評価するために使用される質問のコレクション is crafted, there may still be differences in interpretation. キャリブレーションを使用すると、複数のエバリュエーターでフォームをテストして、同じ対話をどれだけ厳密に評価するかを確認することで、フォームの正確さと使いやすさを検証できます。

キャリブレーションフローを実行する場合は、対話を選択し、それをフォームと一緒に複数の評価者に配布して評価します。新規またはすでに評価されている対話を選択できます。The evaluators receive the form in their Tasks page in their マイゾーン application, and are not aware that they are participating in the calibration flow. 彼らは対話を通常の評価フローの一部であるかのように評価します。

キャリブレーションページでキャリブレーションフローの結果を表示し、評価者間でスコアを比較できます。偏差が大きい場合は、フォームを改良してその有効性を高めることを検討してください。