Waardenburg, L., Huysman, M. and Sergeeva, A. V. (2022) ‘In the land of the blind, the one-eyed man is the king: Knowledge brokerage in the age of learning algorithms’, Organization Science, 33/1: 59-82.
要するにこの論文は：
AIの予測について、結果は複雑である事が多く、また分析結果がなぜそうなるかを人間は説明できない。しかし、実務で予測を使う際、根拠や結論が不明確だと現場は動けない。データサイエンティストがこれにどう対処するかを検証した実証研究論文。
ポイント：
- データサイエンティストは、組織の現場でAI予測をオペレーションに落とし込む際、次のような課題に直面する
- アルゴリズムの予測はブラックボックスで複雑である。そのため、「結局何をすべきか」の結論を簡単には言い切れず、また人間にはその根拠を説明できない
- しかし、組織の業務にアルゴリズムを導入するには、簡潔な要約や根拠の説明が必要となる
- この問いに関して、オランダの警察署での犯罪予測アルゴリズムの利用過程を深く観察し分析した
- オランダの警察では、過去3年分の数十の変数と犯罪発生件数をアルゴリズムで分析した犯罪予測システム（CAS）を2013年に開発した。
- これは、国全体を125平方メートルずつの区画に区分し、区画ごとに犯罪発生件数を二週間ごとに自動的に予測更新し、色分けして地図を表示するシステムだった。
- 警察では、色分けに基づいてパトロールする警官の配置数など、業務効率を改善する目的を持って推進していた
- 手法として、以下のような方法を使った
- 2016年10月から31ヶ月にわたるエスノグラフィーを行い、ある警察署で500時間以上の参与観察（多いときで週3日）をおこなった
- 合わせて、30件以上のインタビューを、データサイエンティストと通常の警察官両方を対象に行った
- 結果として、以下の発見があった
- データサイエンティストは、アルゴリズムの予測結果を警察官に伝えるブローカーの役割を果たすが、その内容は3段階で変化していった
- １．当初は、データサイエンティストは予測結果をなるべくありのまま警察官に伝達する、メッセンジャーとして働いていた
- しかし、それでは警察官が結果をきちんと解釈できず、どうすべきかの結論も出せないため、より警察官側に寄り添って情報を媒介する必要性が生じた
- ２．そこで、次の段階では、データサイエンティストは結果を警察官のために咀嚼・解釈して使いやすいようにして渡す、翻訳者として働いた
- しかし、その過程で警察官が簡潔な結論とその根拠を求めるのに対し、データサイエンティストは人工知能の特性上、根拠の説明が不可能であることを知っており、この形での対応に限界を感じた
- ３．そのため、やがてデータサイエンティストは予測結果に基づきつつ、自分たちで判断して他のデータも組み合わせて解釈し結論まで出すようになり、警察官には結論だけを分かりやすく伝えるような、編纂者の役割に変化していった
- 最終的に、アルゴリズムを結論に落とし込める唯一の存在であるデータサイエンティストが警察の意思決定で実質的な影響を持つようになり、警察官は彼らの人間として行っている判断に依存する形になっていった
コメント：
事象が非常に面白いエスノグラフィーです。手法として深く現場に入り込んでおり、分析結果やモデルも明確に示しており、定性研究として佳作だと思います。日本の文脈で言えば、「DX組織」が経営改革をどう推進するか、どの企業も関心があるテーマに近い内容です。数年前からこの研究は学会で発表されており、当時から非常に興味を持って見ていましたが、ようやく刊行されました。
示唆している内容で特に面白いのが、二点。
第一に、技術の使われ方は自動的に決まっているものではなく、そこに人間の手や解釈が介在することを如実に示している点です。この事例で言えば、警察官たちの不満や意見、そしてそれに対するデータサイエンティストの対応の判断が、技術の使われ方に大きく影響を与えています。このようなブラックボックス問題に対処するAI専門家の役割は、多くの組織で問題になっていくと思われます。
第二に、結果が非常に皮肉な点が面白いと感じます。AIで恣意的でない判断をするはずが、結局データサイエンティスト（AIの専門家だが警察業務の素人）が人間として判断することになる、という本末転倒とも言える結果になっています。それでも、玄人がAI無しで判断するより、素人＋AIの方が結果として成果が高くなるのか？場合によりけりだと思いますが、どういう場合には素人＋AIの方が成果が高く、どういう場合にそうではないのか、などの知見が今後蓄積していくと思われます。
コメント
コメントを投稿