人事評価をAIが決めると何が起こる？

HRMにもAIの導入は進んでいます。今日の論文は、特に人事評価について、その影響を検証した最新のものです。

Scheibmayr, I., & Reichel, A. (2023). The future of HRM incentivizing Strathern’s paradox? Workers’ responses to algorithmic HRM. Academy of Management Discoveries.

一言で言うとこの論文は：

アルゴリズムが定めた人事評価の基準が、評価される側の行動をどう歪めるかを実験とインタビューで検証した実証研究論文。

ポイント：

• AI・アルゴリズムは人的資源管理（HRM）にも浸透し、人間の手間を省きながらより客観的な人事の意思決定ができるようになると考えられている。
• そうした肯定論の多くは、アルゴリズムを人事評価に使う際、評価される側がその後も行動を変えず、アルゴリズムが正しくその人の評価を予測できることを暗黙の前提にしている。
• しかし、特定の指標が評価上重視されていれば、評価される側の行動は変わり得る。そこで、本研究では、評価上の重視項目（インセンティブ）が、人事AIと評価される側の関係にどう影響するかを検証した。
• 検証には、次の混合研究の手法を用いた：
• 2020／21年に経済学関連分野専攻の大学生104名に協力を得て、シミュレーション実験を行った。
• 実験では、コンピュータ上のシミュレーションで病院の人事責任者となったと想定してもらい、架空の外科手術担当医たちを評価するとして、医師と患者の過去10年分の（架空）実績データを見せた。
• 次に、「機械学習アルゴリズムが医師のパフォーマンスを予測する先行指標として、次の3つの指標を特定した」と提示した。3つとは、術後24時間生存率、30日以内の再入院率、1年以内の患者のウェルビーイングである。ここで、医師の評価基準でどの項目を重視するか、3つについて参加者に自由に重み付けさせた。
• 次に、このアルゴリズムと評価が実行されたとして、友人の医者からある架空の3人の患者についてそれぞれ手術を担当すべきか、Yes/Noでアドバイスを求められたとし、回答を求めた。3人の患者の内、一人だけ心臓移植の症例で死亡率が高く高齢となっていた。
• 実験後、参加者にこのやり方では誰が誰を評価していると感じたか、何が評価されていると感じたか、この手法をどう感じたか、をウェブ掲示板で記載させた。
• 結果は、次のようなものだった：
• 心臓移植の手術をあえて請け負うとした参加者は、評価の期待値が大きく下がった（死亡率が高い＝そのように条件が設定されていたとおり）。
• ほとんどの参加者は、（シミュレーション指示にある情報からそれを理解しており）最初の評価重み付けにかかわらず心臓移植の手術について「No」を選択していた。これは、アルゴリズムでの評価特性が、予測される評価を規定し、それが行動（手術する・しないの選択）を左右したと考えられる。
• 定性的なコメントでは、「評価者はアルゴリズムでなく人間（人事）である」と認識されており、「このような方式は倫理的に問題がある」とされ（リスクが高い患者を医師が忌避する動機付けになる）、そしてこの手法の改善方法が多く提案された。
• このようなコメントは、実験で何をどう選択をしたかと統計的に関係なく、参加者全体で同じ傾向で見られた。
• これは、次のことを示している：
• 人事AIはその評価基準を通じて評価される側の行動を（意に反してでも）変えてしまう
• これは、評価が人事の意思決定に使われることで目的になってしまい、評価としての機能を果たさなくなってしまうという、ストラサーンのパラドックスに該当する

コメント：

実際の利用に即した実験で、AIの及ぼす影響を検証しています。出色な点は、シミュレーション実験がかなり凝った作りになっており、実際に人事評価と倫理の両立の難しさを体感させるものになっていることだと思います。また混合研究のデザインも、ニュアンスをとらえる上で効果的になっています。パラドックスというのも、確かにありそうだと感じます。

多少気になるのは、アルゴリズムを人事評価に使う際、現実には「Xを上げたら評価が良くなる」とはそこまで明確に分からないことが多いのでは、という点です。現場が試行錯誤する中で、フィードバックを受け結果的にその方向に寄っていくことはあると思うのですが。どちらというと、そのような暗中模索や、または何が評価されるのかが分からない、評価規準が常に変わっているのではないかという疑心暗鬼のブラックボックス感の方が、ギグエコノミーフリーランサー研究などで頻繁に指摘されている点だと思います。

また逆に、「24時間生存率は評価の30％を占めている」のように、何がどの位評価されるかがアルゴリズム化によって周知されてしまうとすると、（規準を決める際にAIを参考に使っていたとしても）すでに評価基準を明確に持っている組織であれば、本質は人間の評価と変わらない気がします。病院組織のシミュレーションなので、そこまで明確な人事評価基準は病院にはない方が多い、と想定しているのかも知れませんが。

むしろこのパラドックスによって、行動を変えた（高リスク患者を避けるようになった）医師たちが常態化した後も、アルゴリズムが正しく医師のパフォーマンスを予測・評価し続けられるのか、何か違う歪みが出てくるのか、それに対するどのような対処が有効なのか、等がより重要な点かも知れません。