ジェネレーティブAIは急速に成長している。
Open AIのChatGPT、GoogleのGemini、AnthropicのClaudeのような大規模言語モデル（LLM）のおかげで、ユーザーは生成AIを日常生活に取り入れている。
簡単な質問に対する答えを得ること、単語や文章を翻訳すること、研究論文を書くこと、カスタム・コンピューター・コードを開発すること、そして画像やアートワークを生成することさえ、すべてジェネレーティブAIとLLMのおかげで可能になった。
ウェブブラウザ、電子メール、SaaS製品、ソーシャルメディア・プラットフォーム、ファイルシステムなどに搭載されている。
国防総省（DOD）でさえ、ジェネレーティブAIの急速な進歩に対応している。
ジェネレーティブAIがどこでも利用できるようになり、ユーザーが様々なGPTにビジネスデータを入力するようになった今、営利企業組織や国防総省にとって重要な問題を提起している：
ジェネレーティブAIをより安全で信頼できるものにする方法はあるのか？
ジェネレーティブAIのリスク
ジェネレーティブAIとLLMには、営利企業や国防総省組織をリスクにさらす重大な限界がある。
モデルは、著作権で保護されたデータや古いデータを提供したり、あるいは幻覚を見たりして、ミッション・クリティカルな質問に対して不正確な答えを出すこともある。
ユーザーは、AIモデルが特定のレスポンスを提供した理由を可視化できず、AIモデルの出力をトレースする方法もない。つまり、モデルによって提供された回答を検証することはおろか、受け取ったデータが正確であることを確認することもほぼ不可能なのだ。
ソースhttps://www.darpa.mil/program/explainable-artificial-intelligence
国防総省における我々の調査では、ジェネレーティブAIモデルの導入に伴うリスクとして、以下のような分野があることが判明している：
- データソースモデルの訓練と更新に使用されるデータには、著作権資料、代替見解を持つ国や組織からの情報、機密情報、PHI（保護された医療情報）、CUI（管理された未分類情報）、または生成AIモデルに含めることを意図していないその他の機密データソースが含まれる可能性がある。
- モデルのガバナンス：OpenAIを含む商業組織が提供する生成AIモデルは、モデルがどのように開発され、訓練され、監視され、調整されているかについての洞察を提供しない。これらのプロセスを理解しないと、モデルのゴールとアウトプットがエンドユーザーに誤解される可能性があります。
- モデルの透明性： 生成AIモデルは、エンドユーザーに出力を提供する前に、多数のデータポイントを評価する。 多くの場合、モデルはユーザーに出力を提供する前に複数のオプションを評価しなければなりません。市販の製品では、モデルの不確実性を可視化したり、レスポンスの説明やコンテキストを提供したり、モデルが提供しうる代替のレスポンスを提供したりすることはできません。
- モデルのバイアス： 生成AIシステムは、学習データセットやアルゴリズム構造から、社会的・人口統計学的な差異に影響されたバイアスを示す可能性がある。適切に対処されなければ、これらのモデルは、ソースデータに埋め込まれた他の要因の中でも、人種、性別、年齢、民族性に関連する既存の社会的偏見を吸収し、拡大する可能性がある。
多くの組織では、すでにプロセス内にジェネレーティブAI技術を導入しているが、それらの機能をどのように使用すべきかについてのガイドラインやポリシーが欠如している。
マイクロソフト・オフィスとギットハブを例にとってみよう。
両社とも、自社製品にジェネレーティブAI機能を組み込んでいる。ユーザーは日常業務を加速させるツールやウィザードにアクセスできるが、提供したデータをモデルがどのように使用するかは知らない。
これにはいくつかの意味がある：
- 機密情報や個人情報をモデルに入力している可能性がある。
- 出力には、著作権で保護されたデータや不正確なデータが含まれる可能性があります。
- 彼らのデータは安全でプライベートなものではないかもしれない
組織によっては、これは問題ではないかもしれない。しかし、多くの営利団体や国防総省にとって、これは重大な安全上の懸念となる。
では、ジェネレーティブAIのリスクを回避するにはどうすればいいのか？
シンプルに、説明可能なAIモデルを実装する。
説明可能なAIとは何か？
多くの組織が、生成AIモデルをより安全にするために、説明可能なAI（XAI）に投資している。
簡単に言えば、Explainable AIは、AIモデルのあらゆる側面に透明性と可視性を与える。これにより、ユーザーはAIモデルとのインタラクション、特にモデル出力を理解し、信頼することができる。
説明可能なAIは、AIを理解するための7つの主要分野を提供している：
- 透明性： 利害関係者は、モデルの決定事項を形式や言語の面で理解しているか。
- 因果性：入力の摂動によって予測される出力の変化は、実際のシステムでも起こるか？
- プライバシー：機密性の高いユーザー情報の保護は保証されるか？
- 公平性：モデルの決定が保護対象グループに対して公平であることを検証できるか。
- 信頼：人間のユーザーは、システムを使って仕事をすることにどの程度自信があるのか？
- ユーザビリティ：利用者が業務を遂行するために、安全で効果的な環境を提供できるシステムであるか。
- 信頼性：システムの性能は、パラメータや入力の変化に対してどの程度頑健か？
ソースhttps://www.researchgate.net/publication/365954123_Explainable_AI_A_review_of_applications_to_neuroimaging_data
その他の研究成果 シナリオベースの設計によるコード生成AIの説明可能性の調査 Jiao Sunらによって出版されたこの本は、信頼できるAI機能の開発、展開、運用のあらゆる側面を理解するための目標、フレームワーク、研究、エンドユーザーとのライブインタビューを提供している。
説明可能なAIでリスクを軽減
ジェネレーティブAIモデルからの出力を信頼できるようにする必要がある国防総省や民間企業のユーザーは、モデルの詳細な理解を必要とする。
これには以下が含まれる：
- データの出所
- モデルアルゴリズムへの可視性
- モデルの開発、トレーニング、監視、調整方法
下の画像は、Explainable AIがエンドユーザーにモデル出力を説明するためのハイレベルな機能をどのように提供しているかを詳細に示している。
ソースhttps://www.darpa.mil/program/explainable-artificial-intelligence
国防総省と説明可能なAI
特に国防総省は、日常業務のあらゆる側面をサポートするミッションクリティカルな機能をサポートするアプリケーションを必要としており、さらに重要なのは、ミッションの計画と実行である。
ミスや中断は作戦に大きな影響を与え、敵に戦術的な優位性を与えてしまう。
国防総省のエンドユーザーは、生成AIモデルとのすべての相互作用について可視性と透明性を必要としている。
金融サービスと説明可能なAI
金融サービス業界に目を向けることもできる。アナリストや個人トレーダーは、ポートフォリオでより良いパフォーマンスを発揮する資産を常に探している。
熟練したアナリストは、顧客のポートフォリオに加える銘柄をAIモデルが推奨するのを鵜呑みにすることはないだろう。
彼らは、推奨銘柄の背景、その銘柄がどのように選ばれたのか、他の銘柄はどのように評価されたのか、その銘柄に対するモデルの信頼度などを知りたがっている。
説明可能なAIの基礎能力
Explainable AIは、組織がAIモデルを構築、展開、運用するのに役立ついくつかの基盤機能を提供する。
これらには以下が含まれる：
- 既知のデータ：モデルのトレーニングやアップデートに含まれるデータは、データの出所が明らかで、データの系譜を追跡できるソースからのみ取得しなければならない。 国防総省の2023年データ、アナリティクス、人工知能導入戦略に詳述されているように、モデルに含まれるデータは以下を提供できるものでなければならない：
- 正確さ：証明された真の値、または指定された行為、人、または実体を正しく反映するデータ。これにはデータ構造、内容、可変性が含まれる。
- 完全性：指定された時点で存在するデータには、データセット、行、列レベルで測定された期待される情報または統計が含まれていなければならない。
- 適合性：ー データセットはー合意された内部方針、ー標準、ー手続きー手続きー手続きー手続きー
- 一貫性：ある値がデータセット内およびデータセット間で一様に表現されている度合い。
- 一意性： 観測された各事象と、そのような事象を記述した記録との間の一対一の整合を保証する。
- 完全性：データセットの血統、出所、系統が把握され、関連するビジネスルールと整合している。
- 適時性： イベントが発生してからデータが利用可能になるまでの時間を測定する。
- モデルのガバナンス：モデルが現地の法的要件及び機密・非機密データの国防総省データ取扱要件に準拠していることを検証するために、組織は、モデルによって取り込まれ処理されたデータの系譜を追跡するためのフレームワークを定義し、自動化されたプロセスを実装しなければならない。 さらに、フレームワークは、モデルと人間及びシステムとの相互作用を監視し、追跡しなければならない。
- モデルの透明性：モデルの透明性は、信頼できるAIを実装するために最も重要な要素である。これは、アルゴリズムやモデルがどのように出力を生成したのか、モデルがどのようなオプションを評価したのか、モデルによって提供された応答の信頼性をユーザーが理解できないような、AIの「ブラックボックス」を打破することを目的としている。モデルの透明性をサポートするための主要なカテゴリーは、Liao Et Al.著「 Questioning the AI: Informing Design Practices for Explainable AI User Experiences（AIを質問する：説明可能なAIユーザー体験のための設計手法）」で発表されたXAI質問バンクで特定され、文書化されています。
出典 arXiv:2001.02478 [cs.HC].
説明可能なAIの実装
生成AIは営利企業や国防総省にとって強力なツールだが、深刻なリスクも伴う。
説明可能なAIモデルを実装することで、生成AIモデルのあらゆる側面に透明性が提供され、ユーザーは信頼できるAI機能の開発、展開、運用のあらゆる側面を理解することができる。
Ulapでは、機械学習ワークスペースを更新し、重要なExplainable AI機能を追加しています。
目標は、いつも通り、国防総省と企業ユーザーに信頼できる生成AIを提供するAI/MLプラットフォームを提供することである。
.png)
