プロンプトインジェクションとは？AIエージェントを安全に使うための注意点

プロンプトインジェクションとは、Webサイトやメール、文書といったコンテンツの中に隠された悪意ある指示によって、AIエージェントが意図しない操作をしてしまうリスクを指します。Anthropic公式ヘルプによると、たとえば文書の中に、目に見えない形で「機密データを取得して共有せよ」といった指示が埋め込まれていた場合、AIがそれを正規のユーザーからの依頼と誤解して実行してしまう可能性があるとされています。この記事では、公式ヘルプの情報にもとづいて、リスクの内容と安全に使うための対策を紹介します。

なぜこのリスクが重要なのか

ChatGPTやClaudeをはじめとする生成AIには、単に質問に答えるだけでなく、ブラウザを操作したり、外部サービスと連携したりする「AIエージェント」機能が広がっています。こうした機能は便利な一方で、AIが人間の代わりにWebページを読み込み、操作を行うため、そのページに仕込まれた悪意ある指示に気づかず従ってしまうリスクが生まれます。これが、AIエージェント特有のセキュリティ課題として、プロンプトインジェクションが注目されている理由です。

基本知識：プロンプトインジェクションの仕組み

Anthropic公式ヘルプの説明によると、プロンプトインジェクションは主に次のような形で発生します。

Webページや文書の中に、通常は見えない形で悪意ある指示文が埋め込まれている
AIエージェントがそのページを読み込む際、埋め込まれた指示文も一緒に読み取ってしまう
AIが、その指示文を「正規のユーザーからの依頼」と誤解し、意図しない操作（データの取得や外部への送信など）を実行してしまう

ユーザー自身が悪意あるサイトに気づいていなくても、AIエージェントが裏側でそのページを処理する過程で、リスクが発生しうる点が特徴です。

具体例：どんな場面でリスクが高まるか

見慣れない、または信頼性の低いWebサイトをAIエージェントに閲覧させるとき
不特定多数が投稿できる、ユーザー生成コンテンツを含むページを操作させるとき
AIエージェントが、通常と関係のない話題について話し出したり、予期しないサイトにアクセスしたりしたとき（攻撃の兆候である可能性）

手順：AIエージェントを安全に使うための対策

Anthropic公式ヘルプによると、次のような対策が推奨されています。

信頼できるサイトから使い始める：よく知っているサイトを中心に利用し、身元が分からないサイトや、ユーザー生成コンテンツを含むサイトの利用は避ける
提案された操作を確認する：初期設定の「自動承認」モードから、「手動承認」モードに切り替えることで、AIが行おうとしている操作を一つずつ確認できる
不審な挙動を見逃さない：AIが依頼と関係のない話題を話し出したり、予期しないサイトにアクセスしたりした場合は、攻撃の兆候である可能性があるため注意する
重要なアカウントを分離する：銀行取引や医療、行政サービスなどにアクセスできない、専用のブラウザプロファイルを用意して利用する
機密性の高い作業には使わない：規制対象データや個人情報を含むページでは、AIエージェントの利用を避ける

AI提供企業側の対策

Anthropic公式ヘルプによると、Anthropicは複数の防御策を組み合わせて実装しているとされています。

インジェクションの兆候を検知する「コンテンツ分類システム」
AIが操作を実行する前にリスクを評価する「自動アクション審査」
リスクの高いWebサイトへのアクセスを制限する「サイトのブロックリスト」
重要な操作の際に確認を求める仕組み
法人向けの管理者機能（許可リスト・ブロックリストの設定など）

公式ヘルプによると、既知の攻撃手法に対するテストでは「攻撃成功率を0.08%未満に抑えている」とされています。ただし、Anthropic自身も「攻撃が成功する可能性はゼロではない」と明記しており、対策を講じていても、リスクが完全になくなるわけではない点には注意が必要です。

注意点

プロンプトインジェクションは、特定のサービスに限った問題ではなく、AIエージェント機能全般に共通するリスクです。この記事ではAnthropicの公式情報を中心に紹介していますが、他の生成AI企業も、それぞれ独自の対策を進めていると考えられます。
公式が公表している攻撃成功率の数値は、あくまで既知の攻撃手法に対するテスト結果であり、すべての攻撃を防げることを保証するものではありません。
AIエージェントを業務で使う場合は、個人の注意だけでなく、会社としての利用ルール（アクセスできる範囲の制限など）を整備することも重要です。

よくある質問

Q. プロンプトインジェクションを完全に防ぐことはできますか。

A. Anthropic公式ヘルプによると、複数の防御策によって攻撃成功率を大幅に下げているものの、「攻撃が成功する可能性はゼロではない」と明記されています。対策を講じつつも、機密性の高い作業では利用を避けるなど、リスクを前提とした使い方が重要です。

Q. 「自動承認」と「手動承認」は、どちらを選べばいいですか。

A. 公式ヘルプでは、AIが行う操作を一つずつ確認したい場合は「手動承認」モードへの切り替えが案内されています。特に重要な作業や、慣れないサイトでの操作を行う場合は、手動承認を選ぶとより安心です。

Q. どんな挙動が見られたら、攻撃を疑うべきですか。

A. 公式ヘルプによると、AIが依頼した内容と関係のない話題を話し出したり、予期しないWebサイトにアクセスしたりする場合は、攻撃の兆候である可能性があるとされています。こうした挙動に気づいたら、操作を中断して内容を確認しましょう。

まとめ

プロンプトインジェクションは、Webページなどに仕込まれた悪意ある指示に、AIエージェントが従ってしまうリスクです。信頼できるサイトから使い始める、手動承認モードを活用する、重要なアカウントを分離するといった対策を実践することで、リスクを減らしながらAIエージェントを活用できます。

次に取るべき行動

AIエージェント機能を使う際は、まず自動承認モードになっていないか設定を確認し、慣れないサイトでは手動承認に切り替えて、AIの操作内容を確認しながら利用してみましょう。