第3回 モニタリング担当者間で評価基準のズレはないですか?

2009.07.01

クオリティは非常に重要なパフォーマンスの領域ですが、測定にあたってモニタリングが必須であるために、<迅速性>や<効率性>といった他のパフォーマンスと違って、全件を測定対象とすることが難しいものです。そこで前回、全体を表すに相応しいサンプリングルールの重要性を取り上げました。クオリティ評価の手立てとなるモニタリングには、十分な事前準備が必要で、そのひとつが「サンプリングルール」でしたね。。今回は、もうひとつ重要な事前準備である「カリブレーション」をテーマにしてみたいと思います。

クオリティ評価の根拠はモニタリングによるものです。他のパフォーマンスと大きく異なる2つ目のポイントは、1件1件の評価に「人」が介在することです。つまり評価軸の理解度や評価のスキルレベルによって実際の評価にズレが生じる可能性があるのです。もしもズレが大きいと、どうなってしまうでしょう?クオリティ評価に妥当性が無くなるばかりか、フィードバックされる度にエージェント(CSR)のモチベーションが下がり、最終的に意欲減や離職に繋がることさえあります。これではクオリティ向上のための取り組みが、クオリティダウンに繋がってしまう最悪のシナリオです。

意外に、モニタリングの費用対効果が望ましくない原因が評価のズレにあることに気づいていないセンターを多く見受けます。具体的な事例をご紹介しましょう。

ケース1: モニタリング担当者のスキルはチェックしている?

あるセンターでは、顧客満足度向上のためのクオリティ向上に力を入れるため、教育やトレーニング経験者といったクオリティの知識が高いと思われる人材から抜擢し、1年間に5名モニタリング専任担当者を増員しました。着任と同時にモニタリング評価を行い、今では毎月エージェント(CSR)一人あたり複数件の応対をモニタリングして、個別にフィードバックしています。モニタリング・コーチングにかなりの投資をしているのですが、実は最近エージェント(CSR)からの好ましくない声に苦慮しています。日報のフリー欄には、「フィードバックされる内容が前回と違う」「担当者によって評価が異なる」「何を改善すれば良いかがよくわからない」といったマイナスコメントが記されています。評価軸あわせのためのカリブレーションも四半期に1度だったものを月1回行うよう変更しました。確かに毎回重要な項目での評価に差が出てしまっていて、早く評価のズレを無くすことが今の課題です。

注意ポイント

モニタリング担当者にはデビュー基準が必要

このセンターの問題は、モニタリング担当者のスキル定義がなされておらず、デビュー基準を満たしているかの検証プロセスがないまま、説明だけで業務に就かせてしまっていることです。どんなに過去の業務上優れた功績があったとしても、定められた評価軸をもとにズレなく評価するためには、必要な知識とスキルを埋める必要があります。個々の評価者が自分なりの工夫をしながら慣れていく前に、研修と検証を行うことが重要なポイントです。センター全体の評価基準あわせを毎月のカリブレーションだけで実現しようとすると、どの担当者に問題があるのか特定ができず、無駄な時間を要してしまいます。

エッセンス

モニタリング評価担当者には、デビューのために必要な最低限の知識とスキルの定義をし、初期段階で研修後、知識のテストと評価結果が定めたレベル以上であることをもって合格とするプロセスが必要です。

ケース2: カリブレーションの結果はあっている?

二例目は、モニタリング担当者間の評価を合わせることでズレを少なくすることが重要であると認識しているセンターの事例です。毎月1回4時間の評価軸あわせを行っているのですが、評価項目毎にディスカッションになり、結果が納得をもって合意するところに至りません。最後は真ん中の評価に落ち着くことで妥協してしまいます。毎回同じことの繰り返しで、カリブレーションの成果がよくわからない状況です。その結果、評価のぶれが解消されずエージェント(CSR)からの評価のズレに対する不満の声が聞かれます。

注意ポイント

カリブレーションの合格ラインが必要

カリブレーション(評価軸あわせ)には大きく2種類ありますが、皆さんのセンターではどちらを採用していますか?1つは評価軸の読み取り方のディスカッションを行ない合意するプロセスを持つカリブレーション、もう1つは評価結果が合うための合格ラインを定め、合格ラインにおさめるためのカリブレーションです。ほとんどのセンターは前者を実施していますが、後者の取り組みが見られません。ディスカッションも必要ですが、最終的にはカリブレーションの合格ラインを定めて、合格ライン内に納まるまでカリブレーションを実施することが重要です。

エッセンス

カリブレーションの結果を合格ラインに納めるためのポイント

① 基準になる人を決めること

② 明確な合格ラインを決めること

③ 合格ラインに満たない担当者は評価軸の意識あわせ後再度別の応対で評価を行い、合格するまで繰り返すこと

このようにカリブレーション時の基準となる人を決めること、モニタリング評価結果が合うための合格ラインを定めることが必要です。

ここまでは、一定のルールのもとに抽出されたサンプル応対について、一定の知識とスキルをもって評価軸あわせを行った評価者によるモニタリングを行うことでクオリティの適切な評価を行うことの重要性を確認してきました。
次回のコラムでは、モニタリング結果に基づくコーチングのポイントを考えてみましょう。 

Related Articles

関連記事

カスタマーエクスペリエンスのその先へ
貴社の顧客体験の悩みにお答えします