AIセーフティ・インスティテュート(AISI)と情報処理推進機構(IPA)は9月16日、AIセーフティに関する評価観点ガイドに基づき、AIシステムのAIセーフティ評価を行うための評価ツールをオープンソースソフトウェア(OSS)として公開した。GitHub上でApache 2.0ライセンスで提供されている。
AISIでは、AIシステムの開発者や提供者がAIセーフティ評価を実施する際に参照できる基本的な考え方を提示するため、「AIセーフティに関する評価観点ガイド」を公開している。
このガイドに基づいてAIセーフティ評価を実施するためには、評価観点からより具体的な評価項目を設定し、評価対象となるAIシステムのAIセーフティの水準を評価することが必要になる。そこでこの評価ツールでは、汎用性の高い評価項目を用いたAIセーフティの評価環境を提供する。
この評価ツールを利用することでAI事業者は、評価項目設定や環境構築の作業が軽減され、容易にAIセーフティ評価を実施することが可能になるという。
また、攻撃者がどのようにAIシステムを攻撃するかの観点から、AIセーフティ評価の自動化(自動レッドチーミング)機能も提供する。自動レッドチーミングでは、既存のテストデータを単に流し込む自動テストではなく、人が専門知識を活かして実行している部分を業務ドキュメントなどから情報を抽出し、事業者や業種固有の要件をAIセーフティ評価に反映させるAI機能を開発することによって自動化している。
【参考】：プレス発表 AIセーフティ評価のための評価ツールをOSSとして公開 | プレスリリース | IPA 独立行政法人 情報処理推進機構
【参考】：GitHub - Japan-AISI/aisev: AIセーフティ評価環境は「AIセーフティに関する評価観点ガイド」に基づく評価ツールのリファレンス実装です。
ライター
