導入
近年、機械学習（ML）モデルは様々なアプリケーションの中核を担うようになりました。しかし、それに伴い、悪意のある攻撃者がMLモデルのアーティファクト（学習済みモデルファイルなど）に不正なコードを埋め込んだり、意図的に脆弱性を導入したりするリスクが増大しています。このような脅威からシステムとデータを保護するために、AIモデルのセキュリティスキャナが不可欠なツールとして注目を集めています。
これらの静的スキャナは、MLモデルファイル内に潜在する実行可能なコンテンツや安全でない要素を特定することを目的としています。しかし、従来のスキャナ評価指標、例えばF1スコアなどは、スキャナが「使用可能なセキュリティ判断」を下せたケースのみを特徴づける傾向にありました。つまり、スキャナが分析を完了できなかった場合や、明確なセキュリティ判断を下せなかった場合については、その性能が適切に評価されてこなかったのです。
このような状況では、検出精度が高いとされるスキャナであっても、実際の運用環境において広範なモデル形式や異常なファイルに対して十分に機能しない可能性があります。本論文は、この課題に着目し、AIモデルセキュリティスキャナの評価において、従来の精度指標だけでは不十分であり、「分析カバレッジ（網羅性）」と「障害回復（Failure Recovery）」という新たな視点を取り入れることの重要性を強く提唱しています。
この研究の新規性
本研究の最も重要な新規性は、従来のセキュリティスキャナ評価が抱えていた盲点を明らかにし、それを克服する多角的な評価フレームワークを提案した点にあります。これまでの評価では、悪意のあるコンテンツをどれだけ正確に検出できたかという「判断の正確性」に焦点が当てられがちでした。F1スコアは、この判断の正確性を示す代表的な指標です。
しかし、この論文は、スキャナがそもそも分析を完了できないケースや、明確なセキュリティ判断を下せないケースが存在することを指摘し、これを「判断の利用可能性（availability）」という概念で区別しています。本研究は、この「判断の利用可能性」を具体的に評価するために、以下の新しい視点を導入しました。
- 非N/Aカバレッジ（non-N/A coverage）：スキャナが何らかの有効な出力を生成できた割合を示します。これは分析が途中で失敗したり、結果がサポート対象外であったりするケースを除外します。
- 分析完了（analysis completion）：スキャンプロセスがエラーなく最後まで実行されたかどうかを評価します。
- 確定的なセキュリティ判断（definitive security decisions）：スキャナがアーティファクトを「安全」または「危険」と明確に分類できたかどうかを示します。
- 非セキュリティ的知見（non-security findings）：セキュリティ判断とは直接関係ないものの、モデルの構造や構成に関する有用な情報を提供できたかどうかを評価します。
- 未サポートの出力（unsupported outcomes）：スキャナが対応できないファイル形式や破損したアーティファクトに対してどのような挙動を示したかを記録します。
これらの指標を用いることで、スキャナがどれだけ広範な入力に対して信頼性の高い結果を提供できるか、また、異常な状況下でどれだけ頑健であるかを総合的に評価することが可能になりました。これは、単に検出精度を向上させるだけでなく、運用上の信頼性と実用性を確保する上で不可欠なブレイクスルーと言えます。
技術的な核心
本研究では、AIモデルセキュリティスキャナの評価を行うため、具体的なベンチマーク環境と評価手法を構築しています。評価対象となったスキャナは「ModelScan」「ModelAudit」「Fickling」の3種類です。これらはいずれも、機械学習アーティファクト（特にシリアライズされたモデルファイル）内に潜在する悪意のあるコードや脆弱性を特定することを目的とした静的解析ツールです。
特に、機械学習モデルの保存形式として広く用いられるPythonのpickle形式は、任意のPythonオブジェクトをバイトストリームに変換して保存・復元する仕組みであり、悪意のあるコードを埋め込むことで、復元時に任意のコード実行を許してしまう危険性があります。PyTorchなどのフレームワークで作成されたモデルも、内部的にpickle形式を使用することが多いため、これらのスキャナは特にpickle形式の脆弱性分析に焦点を当てています。
本研究のために、研究者たちは制御された合成コーパスを作成しました。このコーパスは、170個のPickleおよびPyTorchに焦点を当てたアーティファクトで構成されています。これらは145種類の標本ファミリーに分類され、そのうち135ファミリーにはバイナリセキュリティのグラウンドトゥルース（正解ラベル：悪意のある/安全）が付与されています。さらに、残りの10ファミリーは意図的に不正な形式（malformed）であり、ラベルが付与されていません。このような不正形式のアーティファクトを含むことで、スキャナの障害回復能力を評価できるようになっています。
評価プロセスでは、前述の新しい評価観点に基づいて各スキャナの性能を計測しました。これにより、単なる真陽性・偽陽性の検出数だけでなく、「スキャナがどれだけ多くのケースで明確な判断を下せたか」「分析が途中で失敗せず完了したか」といった、より実践的な側面が明らかになります。例えば、「確定的なセキュリティ判断」は、スキャナが最終的に「安全」または「悪意がある」と明確に断定できた場合のみをカウントします。これにより、判断の正確性と判断の利用可能性を明確に分離し、スキャナの総合的な能力をより詳細に理解することが可能になりました。
実験結果と評価
本研究の実験結果は、AIモデルセキュリティスキャナの評価における「判断の利用可能性」の重要性を強く示唆しています。以下に主要な結果をまとめます。
-
確定的なセキュリティ判断の可用性:
- ラベル付けされた135の標本ファミリーにおいて、ModelAuditは135ファミリーすべて（100%）で確定的なセキュリティ判断を下すことができました。
- Ficklingは110ファミリー（81.5%）で確定的な判断を下しました。
- ModelScanは67ファミリー（49.6%）で確定的な判断を下しました。
この結果は、スキャナによって「判断を下せる範囲」に大きな差があることを明確に示しています。ModelScanは半数以上のケースで確定的な判断を下すことができませんでした。
-
確定的な判断が下された場合の精度:
- ModelScanは、確定的なセキュリティ判断を下すことができた限られたケース（67ファミリー）において、精度（precision）、再現率（recall）、F1スコアのすべてで100%を達成しました。
これは、ModelScanが一度判断を下せばその正確性は非常に高いことを示していますが、同時に「判断を下せないケースが多い」という課題も浮き彫りにしています。
-
ユニークな真陽性検出:
- Ficklingは、ModelAuditとModelScanの組み合わせによって既に特定された真陽性ファミリー以外に、独自に真陽性のファミリーを特定することはありませんでした。
このことから、複数のスキャナを併用する際に、ツールごとの検出能力の重複や相補性を考慮する必要があることが示唆されます。
-
障害回復能力:
- ModelScanが分析を完了できなかった48の悪意のある（malicious）ファミリーにおいて、ModelAuditとFicklingの両方は、正解ラベル（グラウンドトゥルース）と一致する検出結果を生成しました。
この結果は、ModelScanが分析失敗に陥る状況でも、他のスキャナが問題なく機能し、正しいセキュリティ判断を提供できることを示しており、スキャナの頑健性の違いを強調しています。
これらの実験結果は、従来のF1スコアのみに頼った評価では、スキャナの真の性能、特に実運用環境における信頼性と可用性を見誤る可能性があることを明確に示しています。ModelScanは高い精度を誇る一方で、その判断が利用できる範囲が限定的であり、ModelAuditやFicklingはより広範なカバレッジと回復能力を持つことが証明されました。
実用への示唆
本研究の成果は、AIモデルを扱う開発者、セキュリティエンジニア、および研究者にとって、セキュリティスキャナの選定と運用に関する重要な示唆を与えています。
まず、スキャナ選定の基準を見直す必要性が強調されます。単にF1スコアが高いからといって、そのスキャナが最も優れているとは限りません。実際のプロダクト開発やデプロイメントの現場では、スキャナが特定のモデル形式に対応できない、あるいは何らかのエラーで分析が中断してしまう、といった事態は深刻な問題につながります。常に「安全」か「危険」かを明確に判断してくれる「可用性の高い」スキャナこそが、セキュリティ対策の継続性と信頼性を支える鍵となります。
次に、複数スキャナの併用による網羅性の向上が挙げられます。本論文の結果から、ModelScanのように「判断の正確性」は高いものの「判断の可用性」に課題があるツールと、ModelAuditのように「判断の可用性」が非常に高いツールを組み合わせることで、より強固なセキュリティ体制を構築できる可能性が示唆されています。一つのスキャナが特定の脆弱性を見逃したり、分析に失敗したりした場合でも、別のスキャナがそれを補完する「冗長性」は、AIモデルのサプライチェーンセキュリティにおいて非常に有効な戦略となるでしょう。
また、本研究は、悪意のあるコードが埋め込まれたPickleファイルやPyTorchモデルなどの機械学習アーティファクトの危険性に対する認識を高めることの重要性も再認識させます。モデルファイルを単なるデータとして扱うのではなく、潜在的に実行可能なコードを含むものとして、厳格なセキュリティスキャンと検証プロセスを導入することが不可欠です。CI/CDパイプラインにこれらの多角的な評価が可能なスキャナを組み込むことで、開発ライフサイクルの早期段階でリスクを特定し、対処できるようになります。
最終的に、この研究は、AIモデルのセキュリティ評価が、より現実的で運用を意識した指標へと進化していくべき方向性を示しており、今後のセキュリティツール開発やベストプラクティス策定に大きな影響を与えると考えられます。
まとめ
本論文は、AIモデルセキュリティスキャナの評価において、従来のF1スコアのような単一の精度指標だけでは、ツールの真の性能を測りきれないという重要な課題を提起しました。そして、分析カバレッジ（網羅性）と障害回復能力という新たな評価軸を導入することで、「判断の正確性」と「判断の利用可能性」を分離して評価する枠組みを提案しています。
ModelScan、ModelAudit、Ficklingという3つの主要なスキャナを対象とした実験では、ModelAuditが最も高い判断可用性を示し、広範な状況で確定的なセキュリティ判断を提供できることが明らかになりました。一方、ModelScanは判断を下せたケースでは100%の精度を誇るものの、判断自体を下せないケースが半数近くに及ぶという課題が浮き彫りになりました。また、ModelScanが分析に失敗した悪意のあるファイルに対しても、ModelAuditとFicklingは適切な検出を生成できることが示され、スキャナごとの頑健性の違いが明確になりました。
これらの結果は、AIモデルセキュリティスキャナを選定・導入する際には、検出精度だけでなく、どれだけ多くのモデルや状況で信頼性の高い結果を返せるかという「判断の可用性」を重視する必要があることを強く示唆しています。今後、このような多角的な評価指標が業界標準となり、より安全なAIシステムの構築に貢献することが期待されます。
元論文
- タイトル: Beyond F1: Evaluating Coverage and Failure Recovery in AI Model Security Scanners
- 著者: 著者不明
- arXiv ID: 2608.27424
※ 本記事には Amazon アソシエイト・楽天アフィリエイト・A8.net 等のアフィリエイト広告が含まれる場合があります。リンクから商品・サービスが購入された場合、紹介料を受け取ることがあります。