スキップしてメイン コンテンツに移動

投稿

5月 20, 2018の投稿を表示しています

AIの目標精度をめぐる論点

最強のAI活用術という、刺激的な題の書籍があります。AI社会共創・ラボの経済経営学グループでは、定期的に勉強会を行っていますが、この日曜の会は、この本を題材に読み合わせと議論を行いました。 ・ 野村直之著 実践フェーズに突入 最強のAI活用術(2017年、日経BP社) 書籍は、AI実装を支援するソリューション企業の経営をされている著者が、「いま実際に導入する場面」を想定して、そのコツと注意点を書いたもの。実際の導入開発の目線で書いてあるため、AIプロジェクト経験が無くても、導入担当にとって何が問題となるかイメージが湧きやすい本です。 ーーーーー ポイントの一つは、 精度指標の設定 。 つまり、AIを導入して画像や文章を解析しても、AIは100%正確にはならず必ず誤りは残る。そのため、どの程度の精度を目標にすべきか、文脈に応じて2種類の精度指標について設計する必要がある。 2種類の精度指標とは、 適合率 と 再現率 。 適合率とは、システムが正解としたものが、本当に正解である率(普通の意味でのAIによる正答率)。再現率とは、本来の正解の内、システムがどれだけをカバーできたかの率(取りこぼしのなさ、カバレージ)。 文脈により、求められる精度指標の高低が違う ので、注意深く設計する必要。 例えば、自動車運転教材用に、長時間の運転画像から危険運転の場面をいくつか特定する場合、適合率も再現率も低めで良い。なぜなら、AIの成果物が誤答が入った候補群であっても、人間が全て見るより候補群だけ見ればOKなら十分時間短縮になるから。一方で医療診断ではより高い適合率・再現率が必要となる。等など。 ーーーーー このような指標が重要であるという詳細を一般にはあまり聞けないので、それだけでも価値があると思います。こうした目標精度は営業秘密でもあるため、基本的に各企業が自由に模索して決めます。しかし、AIが普及し一般化する過程で、このような 目標精度の「制度化」 が起こる可能性があるのではないでしょうか。 つまり、当初はどの程度が妥当かデータも無く分からないため、各社が試行錯誤する。 一方で、やがて社会全体ではあるタスクでどの程度の精度でどういう結果になるか、大体の経験値がたまる。そのうちに、 タスクごとのAI導入のあるべき目標精度が、AI導入の担い手なら知って...