サイバー犯罪者は、攻撃を効率化し防御を回避するために大規模言語モデル（LLM）の使用方法を模索している。彼らは、主要なAIモデルの製作者が設置したガードレールを回避する、自身のAIモデルを訓練する、または検閲されていないオープンソースモデルやダークウェブからのモデルを利用するという三つの選択肢に直面している。
先月、地下開発者は、正当なLLMに対して悪意のあるプログラムの作成や写真内の人物の地理的位置特定を可能にする制限を破るために、AI駆動の悪意あるフロントエンドサービス「Dark Gemini」をリリースした。このチャットボットは、少ない努力で達成できる可能性を示したが、多くのセキュリティ専門家はその能力に感銘を受けなかった。
一方で、より複雑な攻撃コンポーネント、例えば洗練されたマルウェアの構築にAIを使用することは、現在のガードレールによって作成された障壁を考慮すると困難であるとされる。しかし、ダークウェブで販売されている「生まれながらに悪意のある」オプション、例えばFraudGPT、WormGPT、DarkBARTなどのAIチャットボットや、Llama2やWizard-Vicunaアプローチに基づく検閲されていないAIモデルが存在する。
HuggingFaceなどのAIモデルリポジトリを通じて制限のないAIモデルにアクセスできるサイバー犯罪者は、特定の能力を持つ自身のプラットフォームを作成する可能性がある。これらのモデルは容易に入手可能であり、設置が簡単で、常に改善され、より効率的になっている。
AIを使用した攻撃を探求する攻撃者に対し、防御者はプロンプトインジェクションのような攻撃に対してAIガードレールを維持することに苦労するだろう。防御者は、入力と出力の両方をフィルタリングするために設計されたルールを作成するために、詳細な敵対的テストを実施する必要がある。
【ニュース解説】
サイバー犯罪者が攻撃の効率化と防御回避のために大規模言語モデル（LLM）をどのように利用するか、という問題に直面しています。彼らは、既存のAIモデルの制限を回避する、自身でAIモデルを開発する、または検閲されていないオープンソースモデルやダークウェブからのモデルを使うという三つの選択肢を持っています。
特に注目されるのは、地下開発者がリリースした「Dark Gemini」というAI駆動の悪意あるフロントエンドサービスです。このサービスは、正規のLLMに対して悪意のあるプログラムの作成や写真内の人物の地理的位置特定を可能にする制限を破ることができるとされています。しかし、このチャットボットの能力に対しては、セキュリティ専門家からは大きな印象を受けていません。
一方で、より複雑な攻撃コンポーネント、例えば洗練されたマルウェアの構築にAIを使用することは、現在のガードレールによって作成された障壁を考慮すると困難であるとされています。しかし、ダークウェブで販売されている「生まれながらに悪意のある」オプション、例えばFraudGPT、WormGPT、DarkBARTなどのAIチャットボットや、Llama2やWizard-Vicunaアプローチに基づく検閲されていないAIモデルが存在します。
HuggingFaceなどのAIモデルリポジトリを通じて制限のないAIモデルにアクセスできるサイバー犯罪者は、特定の能力を持つ自身のプラットフォームを作成する可能性があります。これらのモデルは容易に入手可能であり、設置が簡単で、常に改善され、より効率的になっています。
AIを使用した攻撃を探求する攻撃者に対し、防御者はプロンプトインジェクションのような攻撃に対してAIガードレールを維持することに苦労するでしょう。防御者は、入力と出力の両方をフィルタリングするために設計されたルールを作成するために、詳細な敵対的テストを実施する必要があります。
このような状況は、サイバーセキュリティの分野における常に進化する「武器競争」の一例を示しています。AIのような革新的な技術が登場すると、攻撃者と防御者の間で迅速な採用と対策の開発が行われます。防御側は、AIモデルの安全性を確保するために、定期的な評価、再評価、そしてレッドチームによるテストを行う必要があります。これは、他の技術と同様に、脆弱性評価の世界で管理されるべきもう一つの技術であると言えるでしょう。
from Cybercriminals Weigh Options for Using LLMs: Buy, Build, or Break?.
