キャリブレーションレポート
調整レポートは、評価フォームの調整に役立ちます。 調整間、評価フォームが評価のために選択された数のユーザーに送信されます。 調整レポートは、評価者間の差異や評価者個人のパフォーマンスを自動的に追跡します。 同じ評価フォームの異なるバージョンでレポートを実行し、バージョン間の差異の変化を表示できます。
品質マネージャーは、同じ評価フォームの異なるバージョンを使用する評価者間で一貫したスコアリングを確保したいと考えています。 調整レポートを実行することで、マネージャーは評価者のスコアを比較し、高い差異を特定し、外れ値を特定できます。 これにより、採点精度が向上し、評価基準が維持されます。 強化されたフィルタリングと視覚化のオプションにより、より迅速な分析と評価者に対するより的を絞ったコーチングが可能になります。
データ概要
この事前作成されたレポートには、次のものが含まれます。
評価者の調整
このウィジェットは、選択した時間枠中に完了した調整への参加に基づいて、差異が最も大きい評価者を表示します。 これには、すべての評価者が期限前に割り当てられた調整評価を完了した完全な調整のデータのみが含まれます。
完了ステータスは、>調整のMy Zone完了率列で確認できます。 たとえば、調整が15人の参加者に送信された場合、データがこのウィジェットに表示されるには、15人全員がそれを完了する必要があります。 QMレポート内で不完全な調整のデータにアクセスできます。
このウィジェットに表示される情報から以下のことを確認できます。
-
差異±5%または品質マネージャーが決定した割合の範囲内のスコアを出す評価者。
-
評価者のインタラクションのスコアリング精度と、採点が苦手な評価者。
新しいページで開く
をクリックすると、My Zoneの調整に移動し、追加の調整の詳細を確認できます。
ウィジェットのオプション
をクリックし、次に設定をクリックして、各ウィジェットに表示するデータをフィルタリングできます。
フィールドの説明
-
表示名:ウィジェットの名前を指定します。
-
分散しきい値:評価者の調整スコアの分散のしきい値の割合を定義します。 評価者の差異割合が絶対値を超えている場合はオレンジ色で表示されます。
-
日付範囲:日付の範囲を定義します。 今日、昨日、直近の7日間、直近の30日間、直近の90日間、先週、先月およびカスタム範囲ようなオプションから選択することができます。
-
評価者:評価者の名前を選択します。
品質管理者は、関連する調整でどの評価者のスコアが他の評価者よりも高いまたは低い傾向があるかを確認し、その評価者に品質スコアのコーチングが必要かどうかを判断できます。
フォームの調整
このウィジェットは、品質マネージャーが差異が大きい調整済みフォームを確認するのに役立ちます。 完全に完了した調整のデータのみを表示します。 調整は、割り当てられた評価者全員が指定の期限内に成績を提出したときに完了したと見なされます。
完了ステータスは、My Zone>調整の完了率列で確認できます。 たとえば、調整が15人の参加者に送信された場合、データがこのウィジェットに表示されるには、15人全員がそれを完了する必要があります。
このウィジェットでは、差異が高いということは、評価者間で質問の採点方法に一貫性がないことを示します。 品質マネージャーは、評価者がフォームの採点に困っていないかどうかを確認し、評価者のコーチングを行うことができます。 また、この情報に基づいて、採点要件やフォームの質問を修正することも可能です。
新しいページで開く
をクリックすると、マイゾーンの調整に移動して、追加の調整詳細を見ることができます。
ウィジェットのオプション
をクリックし、次に設定をクリックして、各ウィジェットに表示するデータをフィルタリングできます。
フィールドの説明
-
表示名:ウィジェットの名前を指定します。
-
差異しきい値:フォームの調整スコアにおける差異のしきい値率を定義します。 フォームの分散割合が絶対値を超えている場合は赤色で表示されます。
-
日付範囲:日付の範囲を定義します。 今日、昨日、直近の7日間、直近の30日間、直近の90日間、先週、先月およびカスタム範囲ようなオプションから選択することができます。
-
フォーム名とフォームバージョン:ドロップダウンからフォーム名とバージョンを選択します。これには、フォームのステータスも表示されます。
このウィジェットを使用して、品質マネージャーは、評価者が各質問の採点方法を理解しやすいように、シンプルで明確な採点要件の必要性をフォームで確認することができます。
フォーム詳細ビュー
| 列 | 説明 |
|---|---|
|
フォーム名 |
フォームの名前。 |
|
フォームバージョン |
フォームのバージョン。 |
|
セクション |
フォームのセクション。 |
|
質問 |
フォームの質問。 |
|
調整スコア |
質問に対する調整スコア。
|
|
差異 |
質問に対する差異。 |
評価者詳細ビュー
| 列 | 説明 |
|---|---|
|
フォーム名 |
フォームの名前。 |
|
フォームバージョン |
フォームのバージョン。 |
|
セクション |
フォームのセクション。 |
|
質問 |
フォームの質問。 |
|
調整スコア |
質問に対する評価者の調整スコア。 評価に基づく調整の場合、レポートには評価スコアが表示されます。インタラクションに基づく調整の場合、レポートには評価者の平均調整スコアが表示されます。 |
|
差異 |
質問に対する評価者の差異。 0%-評価者は、他の評価者と同じ質問の採点を付けました。ネガティブの割合:評価者が質問について他の評価者よりも低いスコアを付けました。ポジティブの割合:評価者が質問について他の評価者より高いスコアを付けました。 |
ジョン・ミドルトンはClassics, Inc.のクオリティマネージャーです。 評価者のパフォーマンスを改善したいと考えています。 そこで調整レポートを開き、期間を定義して分析したいフォームを選択し、チームを選択します。 レポート作成者フィールドで評価者を選択し、評価者によるフィルタリングを行います。 その結果、評価者のルーシー・スチールの差異が大きいことに気づきます。 ルーシーの名前をクリックし、彼女が評価したフォームや質問の差異についてさらに詳しく調べます。