Hugging Face AIプラットフォームにおいて、2つの重大なセキュリティ脆弱性が発見された。これらの脆弱性は、攻撃者が顧客のデータやモデルにアクセスし、変更する可能性を開いた。一つ目の脆弱性は、攻撃者が他の顧客の機械学習（ML）モデルにアクセスする手段を提供し、二つ目の脆弱性は、共有コンテナレジストリ内の全画像を上書きすることを可能にした。これらの問題は、攻撃者がHugging Faceの推論インフラの一部を乗っ取る能力に関連していた。
Wizの研究者たちは、Hugging Faceの推論API、専用のAIモデルを本番環境にデプロイするためのHugging Face推論エンドポイント、そしてAI/MLアプリケーションを展示またはモデル開発に協力的に取り組むためのホスティングサービスであるHugging Face Spacesの3つのコンポーネントに弱点を発見した。
特に、Pickle形式を基にしたAI/MLモデルをプラットフォームに容易にアップロードできることが問題とされた。PickleはPythonオブジェクトをファイルに保存するために広く使用されているモジュールであるが、セキュリティ上のリスクがあるとされている。Wizの研究者は、PickleベースのモデルをHugging Faceにプライベートにアップロードし、ロード時に任意のコードを実行することができた。
Hugging Faceは、Wizが発見したリスクを完全に軽減したと述べている。同社は、Pickleファイルの使用を続けるという決定が問題の一部であると認識しており、Pickleファイルに関連する既知のセキュリティリスクにもかかわらず、AIコミュニティが選択したツールを使用できるようにするために、エンジニアリングおよびセキュリティチームに大きな努力を要していると指摘している。
Wizは、共有インフラストラクチャを使用して新しいAIモデルやアプリケーションをホスト、実行、開発する際に組織が認識すべきリスクを示すものとして、この発見を説明している。また、組織は公共クラウド環境で遭遇するリスクと同様の緩和策をAI環境にも適用すべきだと推奨している。
【ニュース解説】
Hugging Face AIプラットフォームにおいて、2つの重大なセキュリティ脆弱性が発見されました。これらの脆弱性により、攻撃者が顧客のデータやモデルにアクセスし、変更する可能性があることが明らかになりました。一つ目の脆弱性は、他の顧客の機械学習（ML）モデルにアクセスする手段を攻撃者に提供し、二つ目の脆弱性は、共有コンテナレジストリ内の全画像を上書きすることを可能にしました。これらの問題は、攻撃者がHugging Faceの推論インフラの一部を乗っ取る能力に関連しています。
特に、Pickle形式を基にしたAI/MLモデルをプラットフォームに容易にアップロードできることが問題とされました。PickleはPythonオブジェクトをファイルに保存するために広く使用されているモジュールですが、セキュリティ上のリスクがあるとされています。この問題を利用して、攻撃者は任意のコードを実行することが可能になります。
Hugging Faceは、これらのリスクを完全に軽減したと述べていますが、Pickleファイルの使用を続けるという決定が問題の一部であると認識しています。Pickleファイルに関連する既知のセキュリティリスクにもかかわらず、AIコミュニティが選択したツールを使用できるようにするために、エンジニアリングおよびセキュリティチームに大きな努力を要していると指摘しています。
この事件は、共有インフラストラクチャを使用して新しいAIモデルやアプリケーションをホスト、実行、開発する際に組織が直面するリスクを示しています。公共クラウド環境で遭遇するリスクと同様の緩和策をAI環境にも適用することが推奨されています。
このようなセキュリティ脆弱性の発見は、AI-as-a-Serviceの利用が増える中で、組織がセキュリティ対策を強化し、リスクを適切に管理することの重要性を浮き彫りにしています。また、AIモデルの複雑さが増すにつれて、これらの問題を特定し、対処することがより困難になっています。そのため、AIアプリケーションとモデルがAPIとどのように相互作用するかを理解し、それを保護する方法を見つけることが重要です。さらに、AIモデルをより理解しやすくするために、Explainable AI（XAI）を探求することも有効な手段となり得ます。これにより、AIモデル内のバイアスやリスクを特定し、軽減することが可能になります。
from Critical Bugs Put Hugging Face AI Platform in a 'Pickle'.
