人事コンサルタントの視点

スマートフォンなどのモバイル機器で採用テストを受けることを選ぶ応募者が毎年増えています。多くの人にとっては、スマホがインターネットに接続できる唯一の方法であったりします。自然、アセスメント内容をモバイル機器に対応させることが、応募者にアピールでき、かつ、コンピューターへのアクセスが難しい人を取り込むためのいい方法です。

しかし、パソコン用に開発された知的能力テストを単純にモバイル機器でできるようにしてもほぼうまくいきません。モバイル機器で従来の知的能力テストを受けた人は、同じテストをパソコンで受けるよりも得点が低くなります。SHLの研究者はこの厄介な問題に取り組み、ラップトップ、タブレット、スマホのどの機器でテストを受けても受検者が自身のポテンシャルをフルに発揮できるようにするためには全く異なるアプローチが必要である、と考えました。

その成果が先日発表されたばかりの画期的な知的能力アセスメント－Verify Interactiveです。

モバイル・ファーストのウェブ・デザイン

複数デバイスで見る内容を設計する際は、最も小さいデバイスに内容を最適化することから始めると一番うまくいきます。SHL研究者が従ったデザインの原則は以下の通りです。

• 文字数を最少にする
• 情報を伝えるために、できるだけグラフィックを活用する
• 横方向へのスクロールはさせない－すべての内容を画面の幅内に入れる
• 縦方向へのスクロールもできるだけ少なくする
• より小さな画面で縦方向へのスクロールをしなければならない場合は、より大きな画面でもそうしなければならないようにする

また、複数選択肢から回答を選ぶ形式はやめました。画面のスペースをたくさん取るためです。代わって、受検者に問題項目自体に回答を入力させるしくみにしました。

最新の採点手法

標準的な多肢選択問題では、受検者の点数オプションは正解か不正解かのふたつだけです。
我々は、受検者が選んだ答えに到達するまでのステップについてはほぼわかりません。その人が正解に非常に近いところまでいっていても、お手上げであっても、どちらも不正解なのです。

SHL Verify Interactiveで用いられる革新的な問題形式は、複数のデータポイントを持ちます。受検者が問題全体で正解でなくても、問題の一部で正しく回答していれば部分点を与えることができます。つまり、一つの問題の中で、受検者の能力レベルについて最大10倍の量の情報を得ることができます。ですから、一問の回答には従来の多肢選択問題より少し長い時間がかかりますが、一つひとつの問題で受検者についてはるかに多くのことがわかるため、全体で必要な問題数は少なくなります。

2012年以降にリリースされたVerifyテストはすべてコンピューター適応型です。この伝統を引き継ぎ、新しく「部分点」を与えるVerify Interactiveにはまったく新しいコンピューター適応型アルゴリズムを組み込みました。このアルゴリズムの背後にある理論は学術界で十分に研究されているものですが、我々の知る限りでは、実用化されたのはこれが初めてです。

測定の等質性

SHL Verify Interactiveの受検者の成績がデバイス選択によって影響されないことを実証的に示すために、我々は研究を行いました。半分の参加者にはまずモバイル機器でSHL Verify Interactiveを受けてもらい、その数日後にパソコンで受けてもらいました。残り半分の参加者は受ける順番を逆にしました。2回の得点を統計的に比較したところ、違いは無視できるもので統計的な有意差はありませんでした。また、得点間の相関は非常に高いものでした。結果は受検者の得点がデバイスの選択によって影響されないことを示しています。結果はさらに分析され、デバイスを超えての測定の等質性を示す圧倒的な証拠が出ています^＊。

SHL Verify Interactiveは、受検者を惹きつけ、彼らが応募企業に自分のスキルを見せる機会を提供する、画期的なアセスメントです。SHLは、これらのテストの魅力的な見た目や操作性を作り込んできたことを自慢に思っていますが、受検者に見えないところ、つまりデバイスのタイプに関係なくできるだけ正確かつ公平に受検者の知的能力を測定できるような心理測定理論を実用化したことについても同じくらいわくわくしています。まさに、祖父の時代の知的能力テストとは違うのです。

＊結果は次のタイトルの論文としてまとめられ、まもなく出版されるジャーナルPersonnel Assessment and Decisionsに掲載される予定です。
“Developing Device-Equivalent and Effective Measures of Complex Thinking with an Information Processing Framework and Mobile First Design Principles”

原文はこちらです。 https://www.shl.com/en/blog/not-your-grandads-cognitive-ability-assessment/
筆者はDarrin Grelle博士。SHLデジタルチームのPrincipal Reseach Scientistとしてこの開発を引っ張ってきた人です。

Verify Interactiveの日本語版も現在開発中で、近々皆様にお披露目できる予定です。
私は英語のデモ版を受けましたが、正直、スマートフォン上での思考は難しいと感じました。年齢が大いに関係するのかもしれません。ただ、思考のプロセスによる「部分点」という仕組みがあることはこのブログで初めて知り、なるほどなあと感心。背後の理論に興味津々です。