人事コンサルタントの視点

昨今は自社採用の振り返りやタレントマネジメントの一環などで、人材データを用いた統計分析を行う企業が増えてきました。分析手法は複数ありますが、中でも2群間の差を調べるt検定は、実施が簡便で活用場面が多い（合格者/不合格者比較や高評価者/低評価者比較など）ためよく使用されています。
統計分析の最大の特徴は、平均値だけでは分からない「有意差（偶然なのか、意味がある結果なのか）」を検証できる点です。しかし、結果が有意かという1点のみを重視してしまうと、その背景にある情報を見逃す可能性があります。
今回は人材データの分析結果を解釈する際に注意すべき点についてご紹介します。

有意水準とは

上図はt検定結果をグラフ化したものです。各群の平均値を点で表示し、2群間に有意な差があった場合には、該当する尺度名の横に*（アスタリスク）を1または2個表示させています。
*は有意水準を識別するための記号です。有意水準とは、分析結果が偶然生じたのではなく、意味があるといえる確率のことです。*が1個の場合は「95％以上の確率で偶然ではない、確実な差があること」と解釈します。また*が2個の場合は「99％以上の確率で偶然ではないこと」と解釈します。
このグラフにおいて、2群間の差の大きさは点の開き具合で確認でき、その差がどのくらいの確率で発生するのかは*の数で確認できます。仮に大きな差が開いていても、有意水準に達していない場合は意味がないと解釈します。分析結果を読み解く際には、*がついている尺度を重点的に確認します。

落とし穴1：分析結果は対象人数に左右される

上にある2つのグラフは、どちらも合格者/不合格者間の適性検査得点を比較したものです。しかし各群の人数が大きく異なっています。
「状況適応力」に注目してください。①大人数のグラフでは、2群間の平均値に大きな差が見られませんでした。しかし、*が2個もついています。一方、②少人数のグラフは平均値の差が①よりも大きいですが、*は1個もついていません。結果、「状況適応力」において、②少人数のグラフは有意差がなく、①大人数のグラフは差こそ小さいものの、99%以上の確率で偶然ではない差が存在していると解釈します。
①のように、対象人数が多い分析を実施した場合、平均値の差が微々たる場合でも結果に*がつくことがあります。このような場合は、*がついていることに加え、平均値差が一定以上開いている尺度、またはその中での得点差が大きい尺度に絞って注目していくことをお勧めします。例えば、各群の人数が1000人以上の場合、平均値の差が1以上開いている尺度に絞って解釈を進めていく、などです。

落とし穴2：選抜された人が対象となる分析では結果が表れにくい

上にある2つのグラフは、各選考段階における合格者/不合格者間の適性検査得点を比較したものです。
「問題解決力」に注目してください。①1次選考のグラフでは、*が2個ついています。一方で②最終選考のグラフには*が1個もつきませんでした。*の数だけに着目すると、最終選考では「問題解決力」を評価できなかったようにも受け取れます。本当にそうでしょうか？
①のグラフを見ると、１次選考合格者は「問題解決力」が平均7点以上の集団であったことが分かります。一般的な全国平均は5.5点のため、最終選考に参加した時点で「問題解決力」がかなり高い人に絞られていると推測できます。高得点の集団を2群に分けたため、2群間の差が表れにくくなってしまったと言えます。
②最終選考では*がつきませんでしたが、「問題解決力」の平均値は不合格者群よりも合格者群の方が高くなっています。「問題解決力」の評価という観点では、悪くない結果だったと解釈できます。

さいごに

今回取り上げた例のように、対象者が多いゆえにほとんどの尺度に*がついたり、選考が進むにつれて*がつく尺度が減っていったりする、という現象はよく見られます
*がついている、ついていないという観点だけでは、その背景にある情報を見逃してしまう可能性があります。平均値の差の度合いや、平均得点などを見ることで、改めて得られる気づきもあるのです。