AIにコーチングを受けることで、仕事のパフォーマンスを上げる。そのような世界が簡単にくるのか？子供の勉強も、アルゴリズムを使って誤答に合わせ次の出題を調整したり最適なアドバイスを表示するような工夫が進んでいますが、仕事でもそうなのか。今回は、こうした問いを扱う実験です。
Tong, S., Jia, N., Luo, X., & Fang, Z. (2023). The Janus face of artificial intelligence feedback: Deployment versus disclosure effects on employee performance. Strategic Management Journal.
一言で言うとこの論文は：
AIが仕事のフィードバックをすると、フィードバックの内容の質が上がる効果と、AIからのフィードバックと聞いて受け手の生産性が下がる効果が、どう相互作用するかを実験で検証した実証研究論文。
ポイント：
- AIを使って仕事のフィードバックをすることが可能になってきているが、これは大きな議論を読んでいる。なぜなら、そこにはトレードオフがあるためである。
- 一方では、AIはポジティブな「導入効果」があり、より良質なフィードバックを提供し従業員の生産性を高めることが出来る。
- AIはより多くのデータを正確に分析するため、個々の従業員のパフォーマンスをより正確に評価できる。
- さらにAIは個々の従業員によりカスタマイズしたフィードバックを提供できる。
- 他方では、AIはネガティブな「開示効果」があり、従業員の生産性を下げる効果がある。
- AIのフィードバックであることを受け手が知ると、AIへの信頼性への疑問が生じる
- さらに、職を奪われるリスクの感覚からネガティブな認識が生まれる
- この二つの効果が両方働くとき、AI導入の効果はどうあるのか。本研究では、実際の職場での実験によって検証を行った。
- アジアの大手金融サービス会社の、債権回収コール業務
- 265人の正社員に、ランダムにAIによるフィードバックと人間によるフィードバックを割り当て、さらにランダムにそれがAIによるフィードバックと通知する例と、人間によるフィードバックと通知する例を割り当てた。
- 一日に100件の債権回収コールを行い、ランダムに5つのコール録音を材料としてフィードバックを行った
- 結果として、以下が明らかになった：
- AI導入効果は12.9％の生産性向上をもたらした。AIはより多くのミスを特定し寄り多くの代替案を提案していた。
- AI開示効果は5.4％の生産性低下をもたらした。AIはフィードバックへの信頼と職を奪うリスクの感覚をもたらした。
- ただし、負のAI開示効果は、従業員の経験年数が長いほど緩和された。これは、ベテラン従業員が社内でより多くのネットワークと人間関係を持ち、AIに評価されるショックを和らげるリソースがあったためと考えられる。
- これらを勘案すると、フィードバックへのAI導入はトータルでプラスの生産性をもたらすため推進すべきだが、対象となる人材に注意が必要である。たとえばベテランにAIのフィードバックをあてがい、若手は人間が指導するなどの注意深い設計が有効な可能性がある。
コメント：
実験で非常にプラクティカルな問いを検証しており、実務家から見ても面白い研究だと思います。実験の設計も、実際にAIでフィードバックしていてもランダムに「AIだ」と伝える被験者と「人間だ」と伝える被験者を比較するなど、しっかりしています。
あえて気になる点としては、結果の後の「なぜそうなのか」の推量がややジャンプしているようにも見える点です。定量研究全般にそうなのかも知れませんが。最近出た似たような研究では、インタビューも組み合わせて理由や実態を検証しているので、こうした混合的な視点ももっとあって良い気はします。
コメント
コメントを投稿