2021.06.01

AIに対する過信や不信にはどう対応すれば良いのか？：人間とAIの協調作業における「信頼較正」方式の提案

人間がAIと協調作業を行う際には、人間同士の作業の場合と同様に、AIに対して人間が持つ「信頼」が作業に大きな影響を及ぼします．例えば自動運転車などでは、AIを過信して事故を招いたり、不信のために自動運転がほとんど使われなかったりといった状況が生じる可能性があります。

これらを避けるためには、AIに対する信頼の大きさをAIの実際の能力に合わせて適切に調整することが必要です．この調整は「信頼較正」と呼ばれます．しかし、信頼を直接測定し修正することは非常に難しいため、信頼較正のために過信・不信状態を判定する方法や、不適切な信頼状態を緩和する方法に焦点を当てた研究はほとんど行われていませんでした。

そこで、本研究では、人間がAIに仕事を任せる行為(AI選択行為)に着目した新たな信頼較正の方式を提案しました。

信頼を構成する要因には様々なものがあることが先行研究で明らかになっていますが、本研究では、その主要な要因の一つである「能力」に着目しました。すなわち、相手を信頼するという判断は、あるタスクを与えられたときに相手と自分のどちらのタスク実行能力（＝成功確率）が優れているかを推定することであると定義します。この推定の結果がAI選択行為として観測されることになります。このような人間とAIの性能推定モデルに基づく過信不信を行い、協調作業の状態を監視する「信頼較正AI」を提案しました。

信頼状態を直接計測すること無く、AI選択行為からことが可能になります。過信あるいは不信の状態と判定した際は、認知的なトリガー（音、光、サインなど）を人間に提示することで信頼較正を促します。

提案方式の評価を、Web上で動作するドローンシミュレータを用いた２種類のオンライン実験を用いて行いました．協調作業のタスクとして、視覚探索タスクとリアルタイムナビゲーションタスクの二種類を使用しました。シミュレータ環境の天候状態を変化させることで過信不信を起こしやすい状況を設定し、参加者の協調行動の変化を計測しました．その結果、提案方式が信頼較正を有意に促進する効果があることが両方の実験で示されました。また協調作業の成績も有意に向上しました。

AIや自律ロボットとの協調作業の機会は飛躍的に増加していくものと思われます。本研究の提案は、そこでののひとつであるAIへの過信・不信問題に対処する仕組みに繋がっていくと考えています。

書誌情報

• タイトル: Empirical Evaluations of Framework for Adaptive Trust Calibration in Human-AI Cooperation
• 著者: Okamura, Kazuo, and Seiji Yamada.
• 掲載誌: IEEE Access 8: 220335-220351
• 掲載年月: December 2020
• DOI: 10.1109/ACCESS.2020.3042556

複合科学研究科 情報学専攻修了　岡村 和男
（現在、大阪大学データビリティフロンティア機構 勤務）