Hugging Face AIプラットフォームにアップロードされた約100の機械学習モデルに、ユーザーのマシンに悪意のあるコードを注入する可能性があることがJFrog Security Researchによって発見された。この調査結果は、公開されているAIモデルを悪用する攻撃の増加を示し、より良いセキュリティ対策の必要性を強調している。
Hugging Faceでは、悪意のあるAI/MLモデルの存在が供給チェーンに重大なリスクをもたらすことが明らかになり、AI開発者に対して、AIの脆弱性のセキュリティポストを向上させるためにHuntrなどの新しいツールの使用が推奨されている。
悪意のあるAIモデルの動作原理を理解するには、PythonとAI開発の文脈でのPyTorchモデルの理解が必要であり、特定のタイプのMLモデルをロードする際にコードの実行が発生することがある。Hugging Faceはセキュリティ保護機能を備えているが、pickleモデルのダウンロードを完全にブロックするわけではないため、AI開発者は毒されたAIモデルからのリスクを軽減するためにHuntrなどのツールを使用するべきである。
【ニュース解説】
Hugging Face AIプラットフォームにおいて、JFrog Security Researchによって約100の機械学習（ML）モデルが発見されました。これらのモデルは、ユーザーのマシンに悪意のあるコードを注入する可能性があることが指摘されています。この発見は、公開されているAIモデルが悪用されるリスクが増加していることを示し、より強固なセキュリティ対策の必要性を浮き彫りにしています。
この問題の背景には、AI/MLモデルが広く共有され、開発者間で利用される現代の技術環境があります。Hugging Faceは、そのようなモデルやデータセット、アプリケーションが共有される公開プラットフォームの一つです。しかし、このようなオープンな環境は、攻撃者による悪意ある活動の場ともなり得ることが示されました。
悪意のあるAIモデルがどのように機能するかを理解するには、PythonとAI開発の文脈でのPyTorchモデルの理解が必要です。特に、”pickle”形式を使用するモデルでは、この形式がPythonオブジェクトのシリアライズに使われる一方で、任意のコードを含むことができ、そのコードがファイルロード時に実行される可能性があります。このようにして、攻撃者はユーザーのマシンに悪意のあるコードを注入することができるのです。
Hugging Faceは、マルウェアスキャンやpickleスキャン、秘密情報スキャンなど、いくつかのセキュリティ保護機能を備えていますが、pickleモデルのダウンロードを完全にはブロックしていません。そのため、AI開発者は、Huntrのような新しいツールを使用して、AIモデルとプラットフォームのセキュリティ姿勢を強化することが推奨されています。
この問題は、AI/MLモデルが供給チェーンにおいて重大なリスクをもたらす可能性があることを示しています。特に、AI/MLエンジニアやパイプラインマシンをターゲットにした攻撃に対しては、常に警戒し、より積極的なセキュリティ対策が求められます。
ポジティブな側面として、このようなリスクの発見と公表は、AIコミュニティ全体のセキュリティ意識の向上に寄与します。一方で、潜在的なリスクとして、攻撃者によるさらなる悪意あるモデルの開発や、既存のモデルへの攻撃が懸念されます。規制に関しては、AIモデルの安全性を確保するためのガイドラインや基準の策定が急務となるでしょう。
将来的には、AIモデルのセキュリティを強化する技術や手法の開発が進むことが期待されます。また、AI開発者や研究者、利用者がセキュリティリスクに対してより意識を高く持ち、共同で対策を講じることが重要です。このような取り組みを通じて、AI技術の持つポテンシャルを安全に活用していくことができるでしょう。
from Hugging Face AI Platform Riddled With 100 Malicious Code-Execution Models.
