Explainable Artificial Intelligence (説明可能なAI) を整理してみた
こにちは鬼畜メガネです。
今回は"Explainable Artificial Intelligence (説明可能なAI) を整理してみた "というテーマを書いていきます。
1. 説明可能なAIとは
人工知能 (AI) は世の中での厳密な定義は無いのですが、機械学習（Machine Learning）や深層学習（Deep Learning）は一般的にブラックボックスになります。
ブラックボックスのままAIを利用すると、以下のような問題があったりします。
・AI画像認識で黒人女性をゴリラと判断し人権上問題となる
・自動運転で事故を起こした時の責任問題
・AIで医療の診断・処方をするときの責任問題
そのような問題があるため、ブラックボックスが解き明かされてその結果を導出した根拠が説明することが可能なAIが求められている。
2. AIの説明に関する世の中の動き
欧州、日本、アメリカでは国レベルでAIのブラックボックスの部分を説明しようという取り組みを推進しています。
2.1. 欧州
AIの信頼性に関して以下の図のようなフレームワークを作成しています。
信頼できるAIの基盤
基本的な権利をベースにアプローチしている。4つの倫理的原則をベースにしている。
・人間の主体性への尊厳（Respect for Human Autonomy)
・危険からの保護 (Prevention of harm)
・公平性 (Faieness)
・妥当性 (Explicability)
信頼できるAIの実現
7つのキーとなる要求を定義している。
信頼できるAIの査定
https://ec.europa.eu/digital-single-market/en/news/ethics-guidelines-trustworthy-ai
2.2. 日本
内閣府は人間中心のAI 社会原則（2019年3月29日）で以下のように述べている
AIの設計思想の下において、人々がその人種、性別、国籍、年齢、政治的信念、宗教等の多様なバックグラウンドを理由に不当な差別をされることなく、全ての人々が公平に扱われなければならない。
AIを利用しているという事実、AIに利用されるデータの取得方法や使用方法、AIの動作結果の適切性を担保する仕組みなど、用途や状況に応じた適切な説明が得られなければならない。
人々がAIの提案を理解して判断するために、AIの利用・採用・運用について、必要に応じて開かれた対話の場が適切に持たれなければならない。
上記の観点を担保し、AIを安心して社会で利活用するため、AIとそれを支えるデータないしアルゴリズムの信頼性（Trust）を確保する仕組みが構築されなければならない。
以下がイメージ図です。AI社会原則の(6)が説明可能なAIに関する部分です。
2.3. アメリカ
アメリカのDARPA（Defense Advanced Research Projects Agency：国防高等研究計画局）が主導する説明可能なAIの研究プロジェクトがある。"XAI"はこのプロジェクトによって広まった言葉である。
DARPAの研究の詳細は以下にまとまってます。
https://www.jst.go.jp/crds/sympo/201906_JSAI/pdf/02.pdf
3. AIを説明する方法
3.1. 世の中の事例
「AIへの信頼」や「説明可能なAI」に絡み、一部で話題の「IBM Watson OpenScale」をザクッとご紹介します - Qiita
3.2. 要素技術
入力からAIの中身を説明する方法
Sensitivity Analysis (SA)
入力された特徴量の中で、それを変化させることで出力に大きな影響が出るものがある場合、それは重要な特徴量と考えることができます。つまり、ネットワークがどの入力に対して敏感なのか、という変化量を調べることでその重要がわかります。
Local Interpretable Model-Agnostic Explanations (LIME)
単体の入力からでなく、様々に変形させた入力からモデルの挙動を探ろう、というのがLIMEのアイデアです。
Local Interpretable Model-Agnostic Explanations (LIME): An Introduction - O'Reilly Media
出力からAIの中身を説明する方法
Layer-Wise Relevance Propagation (LRP)
ネットワークをある層まで伝搬させて、その後調べたい個所以外を0にして逆伝搬すれば、その箇所に貢献している入力が逆算できる、という手法を提案しています。
LRPを使いたい方は以下のリンクでチュートリアルの説明がありますのでご参照ください。
http://heatmapping.org/tutorial/
詳細は以下で説明されています。
3.3. アカデミアとビジネスのミスマッチ
以下URLでは上記のような説明技術はアカデミアの方でどんどん研究されていますが、利用者（ビジネス側）はどんな説明のニーズがあるか発信できていないと述べています。
http://www.soumu.go.jp/main_content/000587311.pdf
4. 最後に
説明可能なAIについて整理してみました。
・AIの説明は世界的に求められている
・AIを説明する技術はいろいろある。
・説明可能なAIはさまざまな企業で作られてきている
AIの説明方法や説明が必要な背景を理解して、AIエンジニアとして一歩先に行きたいですね。
ただ、私が研究活動をしていた経験からSA, LIME, LRPを使うにはAI（アルゴリズムや数学など）について深い理解が必要なので、AIをしっかり基本から学ぶことが結局早く説明可能なAIを作成できることにつながると思います。
以上、ありがとうございました。
