top of page
執筆者の写真David Creelman

Are we losing the cream of the crop?



 

We learn the most about evidence based management when we look at real cases. Here is nice one:

An organization routinely hired large numbers of people for an important, but low level job. They wanted to have some kind of automated screening that would weed out poor candidates, leading to better quality of hire and saving managers a lot of time. They engaged a leading assessment vendor to create a scientifically validated screening tool.

The tool seemed to work. The managers saved time because they did not have to interview as many people. The people they did interview (only the ones that passed the screening) were strong candidates. The program looked like a success. There was only one thing that bothered the recruiters: the assessment took a long time for a candidate to complete, they worried that good candidates would dislike the effort required. In fact, a certain percentage of people who started the test did not bother to finish. Yes, the assessment was screening out poor people, but maybe they were also losing the cream of the crop.

What would you do?

Too often organizations resolve this kind of question with an argument. Some people love the new assessment and the time it saves. Other people are uncomfortable at removing the human element and fear the process is driving away the best candidates. There are good arguments and strong emotions on both sides of the issue. Normally, the decision is made on the basis of who is the most senior or who is most tenacious. That is not what happened here.

This organization had an evidence based mindset. Some recruiters had forwarded a reasonable hypothesis: that the burden of the assessment was causing the best candidates to drop out. Rather than argue about this, they decided to test it. The recruiters tracked those people who dropped out, and followed up with a telephone interview. It turned out that these people were dropping out because they were a poor fit, not because they did not like the screening process. The assessment was working.

It is easy to walk away from this story thinking “assessments are a good thing”, however I want you to concentrate on the deeper lesson that “evidence is a good thing”. The company might have found out that the people dropping out were indeed high performers, in which case they would have changed how they used the assessment. Organizations need to move away from arguments based on opinion, to the evidence based mindset of “good question, let’s find out.”

Another example comes from Google. They liked the idea of doing a lot of interviews to make sure they got absolutely the right people. This could get out of hand with applicants going through 10 or more interviews. Some people in HR questioned whether this was too hard on applicants and a waste of the company’s time. The evidence based response to this issue is: “Good question, let’s find out.” So instead of debating whether this intensive interviewing was integral to their culture, or whether getting the very best people was crucial, they simply checked to see at what point more interviews ceased to add value—and they found that there was rarely any point in exceeding four interviews.

The idea of gathering data is hardly revolutionary; the point to keep in mind is that organizations often fail to do so. Frequently decisions that could be made based on fact are made based on opinion. We need to cultivate a culture that asks for data and that encourages experimentation. Instead of taking and defending positions people need to form hypotheses and, if they seem reasonable, say “Let’s get some data to find out if this hypothesis is correct.”



*********


優秀な人材を逃しているのだろうか?

証拠に基づくマネジメント(Evidence-based Management)とはどういうものか、分かりやすい実例で見てみましょう。

ある会社では、重要だけれども下位レベルの仕事に、定期的に大量の採用を行っていた。会社は、採用の品質を高め、かつ面接をする管理職の時間を節約するため、一定水準に達しない応募者を自動的にふるいにかけるシステムが欲しいと考えた。会社は、アセスメント・システムの開発会社を使い、科学的に有効性が認められたスクリーニング・ツールを作った。

ツールはうまく機能しているように思われた。管理職は多数の応募者と面接しなくてもよくなり、(スクリーニングをパスして)面接した人々は有力な候補者だった。ただ一つ、気がかりなことがあった。このスクリーニングのアセスメントは、全てに回答するのに非常に時間がかかる。優秀な応募者はこれを嫌うのではないか。実際、このテストを受けにきた人の一定割合は、途中で試験を放棄している。このアセスメントは確かに低水準の人々をふるい落としているが、ひょっとしたら、非常に優秀な人々をも失っているのではないか。

このとき、あなたならどうしますか?

多くの組織では、この種の問題が持ちあがると議論をして結論を出す。一部の人はこの新しいアセスメントを気に入り、時間が節約されることに満足している。また、一部の人は人間的な要素を切り捨てるテストはどうかと感じ、この方式はとても良い候補者を追い払っているのではないかと不安を抱いている。双方にもっともな理由と強い思いがある。通常、結論は、最も地位の高い人か、もしくは粘り強い人の意見を基に決定される。しかし、この会社はそうではなかった。

この会社は、証拠を重視する習慣があった。優秀な候補者を負担の重いアセスメントで逃がしているという仮説を立てると、それについて議論をするのではなく、検証する決断をした。脱落者を追跡し、電話でインタビューした結果、その人たちが脱落したのは適性が低かったためで、スクリーニング・テストに嫌気がさしたわけではないことが分かった。アセスメントは正しかった。

これは〝アセスメントは有用だ〟という話ではなく、〝証拠が大切〟という教訓である。脱落した人たちが本当に優秀だったという結果もあり得たわけで、もしそうなら、この会社ではアセスメントの使い方を見直しただろう。組織は、個人的な意見に基づく議論から脱皮して、〝それは良い疑問だ、確かめてみよう〟と証拠に基づいて考えるやり方に変えていく必要がある。

もう一つは、グーグルの例。グーグルでは、採用するときに本当に良い人材か確かめるには、数多く面接をするという考えが好まれていた。とはいえ、応募者に10回以上も面接を課すのでは収拾がつかなくなる。応募者の負担も大き過ぎるし、会社にとっても時間の無駄ではないかと疑問視する人事担当者もいた。この問題に対する証拠に基づく対応とは、〝良い疑問だ、調べて見よう〟である。彼らは論争する代わりに、面接を重ねていったときに、もうそれまで以上に得るものがなくなるのは何回目か調べた。その結果、5回目以上というのは、めったにないことが分かった。

データを集めるという考えは、決して画期的なものではない。肝心なのは、往々にして組織はそれをやっていないということである。事実に基づいて決定できることが、個人的な意見によって決められることが多々ある。わたしたちに必要なのは、データを求め、実験を奨励するカルチャーを育てることである。論争をするのではなく、仮説を立て、その仮説が妥当と思われるなら、こう言いましょう。〝仮説が正しいかデータをとって調べよう〟と。



bottom of page