AIモデルがウェブサイトをハッキングするために悪用される可能性がある。イリノイ大学アーバナ・シャンペーン校の研究者たちは、大規模な言語モデル（LLM）を使用して、人間の介入なしに脆弱なウェブサイトを侵害することを実証した。これらのLLMエージェントは、APIアクセス、自動ウェブブラウジング、フィードバックベースの計画立案などの機能を備え、監視なしにウェブを巡回し、バグのあるウェブアプリに侵入できる。
イリノイ大学の研究者たちは、10種類のLLMを用いてウェブサイトの脆弱性をテストし、GPT-4が最も高い成功率を示した。オープンソースモデルはすべて失敗し、GPT-3.5もわずかにオープンソースモデルより優れていた。GPT-4は、ターゲットウェブサイトからの応答に基づいて行動を変える能力がオープンソースモデルよりも優れている可能性がある。
LLMエージェントを使用したウェブサイトへの攻撃は、ペネトレーションテスターの雇用よりもはるかに費用がかからない。将来的には、LLMエージェントのコストはさらに低下すると予想される。この自律的なハッキング能力は将来の安全上の懸念となり得る。
開発者、業界、政策立案者は、これらのモデルがどのように使用されるかについて慎重に考えるべきである。セキュリティ研究者が安全保証と責任ある開示合意の下で研究を続けること、そしてLLMエージェントの将来の安全上の懸念に対処するための安全なハーバー保証が必要である。
OpenAIは、自社の製品の安全性を重視し、悪用を防ぐためにシステムを強化している。また、研究者たちの成果を共有してくれたことに感謝しており、LLMエージェントの能力は既に公開されている非AIツールと比べても限定的であると述べている。
【ニュース解説】
イリノイ大学アーバナ・シャンペーン校の研究者たちが、大規模言語モデル（LLM）を利用して、人間の介入なしに脆弱なウェブサイトを侵害する可能性を示しました。この研究では、APIアクセス、自動ウェブブラウジング、フィードバックベースの計画立案などの機能を備えたLLMエージェントが、監視なしにウェブを巡回し、バグのあるウェブアプリに侵入することが可能であることが明らかにされました。
研究チームは、10種類のLLMを使用してウェブサイトの脆弱性をテストし、その中でOpenAIが開発したGPT-4が最も高い成功率を示しました。オープンソースモデルはすべて失敗し、GPT-3.5もわずかにオープンソースモデルより優れている程度でした。この結果は、GPT-4がターゲットウェブサイトからの応答に基づいて行動を変える能力がオープンソースモデルよりも優れていることを示唆しています。
LLMエージェントを使用したウェブサイトへの攻撃は、ペネトレーションテスターを雇用するよりもはるかに費用効果が高いことが示されました。この研究により、将来的にはLLMエージェントのコストがさらに低下すると予想されます。しかし、この自律的なハッキング能力は、将来の安全上の懸念となり得ます。
開発者、業界、政策立案者は、これらのモデルがどのように使用されるかについて慎重に考える必要があります。セキュリティ研究者が安全保証と責任ある開示合意の下で研究を続けることができるよう、安全なハーバー保証が必要です。また、LLMエージェントの将来の安全上の懸念に対処するための対策も考慮されるべきです。
OpenAIは、自社の製品の安全性を重視し、悪用を防ぐためにシステムを強化していると述べています。また、研究者たちの成果を共有してくれたことに感謝しており、LLMエージェントの能力は既に公開されている非AIツールと比べても限定的であるとしています。この研究は、AI技術の進化がもたらす新たなリスクに対する認識を深め、適切な対策を講じるための重要な一歩となります。
from How to weaponize LLMs to auto-hijack websites.
