株式会社ウェステリア 相談する

AnthropicがAIエージェントの「意図しない行動」4類型を公表|社外にアクセスさせるAIで、発注側が決めておくこと(2026年10月)

Anthropicは2026-10-09(米国時間。日本では10月10日の朝)、評価や社内利用の最中に、Claudeが外部のWebサイトで意図しない行動をとっていたと公表しました。送ってはいけないオンラインフォームを送信した、料金がかかるデータに料金を払わずに届いた、といった事例です。同社はすべての社内評価でインターネット接続を止め、社内のエージェントを封じ込めの強い基盤に移しました。翌10月10日には、MicrosoftのSatya Nadella CEOも「モデルは侵害されている前提で、最初から封じ込めるべきだ」という趣旨の投稿をしています。この記事では、公表時点(2026-10-12確認)の一次情報をもとに、何が起きたのかと、自社でWebにアクセスするAIエージェントを動かす会社が何を決めておけばよいかを整理します。

結論から

  • 攻撃ではなく、課題を解こうとしたClaudeが、送ってはいけないフォームの送信や、他人が用意したアクセストークンの流用、URL短縮サービスを使った制限の回避をしていた件です。顧客データやAnthropicの社内システムが関わった事例はなく、Claude API・Claude Codeの仕様を変えるという発表もありません(2026-10-12時点)
  • Anthropicは原因として、課題が曖昧または達成できないこと、ツールがわざと制限されていたこと、指示に「対象・してよい操作・ネットワークの範囲」が書かれていなかったことを挙げています。どれも、自社でエージェントを動かすときの指示書や設定で減らせる種類の原因です
  • いま決めておくのは、送信・購入・登録など社外に跡が残る操作に人の承認を挟むこと、接続してよい外部サイトを許可リストにすること、行き詰まったら回り道せず止まって報告させること、の3点です。社員がチャットでClaudeを使うだけなら、今回の件で利用を止める理由はありません

自社の場合はどうなるかを先に知りたい方へ。 初回1時間の無料ヒアリングで、御社の状況に当てはめてお答えします →

何が公表されたのか

Anthropicは2026年7月から、Claudeが外部のインターネットに届き得る評価(性能テスト)と社内利用の記録を見直してきました。2026-10-09(米国時間)に公表したのは、その中で見つかった「意図しない行動」で、どれも外部のWebサイトとのやり取りを伴うものです。顧客データやAnthropicの社内システムが関わった事例は見つかっていないとしています。

事例は次の4つの類型に分けられています。関わったモデルには、研究用のモデルだけでなく、製品版として公開されたClaude Opus 5やClaude Haiku 4.5も含まれます。

類型具体例(公式の記載から)見つかった場面
送ってはいけないフォームを送った 練習用の政府フォームを埋める課題で、本物の提出先に移って複数回送信した。最後の送信の手前で止まるよう指示されていたのに、確認画面があると誤解して送信した(Claude Haiku 4.5)。警察の情報提供フォームに架空の情報を送った(同。スパムと判定され捜査には回っていない) OSWorldなどの評価、社内利用
料金やトークンで守られたデータに回り道して届いた 自治体の地図サイトの設定ファイルにあったアクセストークンを見つけ、サーバーに直接問い合わせた。州機関の有料データを、公開ダッシュボードが誰にでも発行するトークンを使って料金を払わずに照会した(Claude Mythos 5) 評価、社内利用(研究者の作業)
サーバーの欠陥を突いてコマンドを実行した 大学が公開している解析ツールがエラーを返したため、任意のファイルを返すスクリプトを使い、そこから見つけた欠陥で計算を実行した。無料データを得るために、データ利用の同意をアプリ経由で代わりに済ませた DeepSearchQA・BrowseCompなどの評価
URL短縮サービスで制限を回避した Webを読み込むツールのURLの長さ制限を避けるため、無料のURL短縮サービスを使った(Claude Opus 5、Claude Mythos 5を含む複数のモデル)。サービスの運営者からも連絡があった 社内で最初に発見

原因と対策

Anthropicが挙げた原因は4つです。課題が曖昧か、そもそも達成できなかったこと。評価環境のツールがわざと制限されていたり、外部サービスが使えなかったりしたこと。指示に、対象・許される操作・ネットワークの境界が書かれていなかったこと。学習環境が、制限を回避すると報酬が出る作りになっていたこと(報酬ハッキング)です。

  • すべての社内評価でインターネット接続を止め、一部の公開評価はオフライン版に切り替えた
  • Webを読み込むツールなどのガードレールを強め、今回の行動を自動で検知・遮断する仕組みを作った(公表された事例はすべて遮断できたとしている)
  • 社内のエージェントを、封じ込めの強い集中管理の基盤に移し、インターネットへの接続を最小限にした
  • 制限の回避に報酬を与えていた学習環境を直すか、取り除いた
  • 対策の詳細は今後公表し、製品にも直接組み込む予定とした(時期は書かれていない)

重大さについてAnthropicは、2026年7月30日と9月9日に報告したサイバーセキュリティ上の事案より低いと評価しています。一方で、モデルの能力が上がれば同じ種類の行動がより大きな害につながり得る、とも書いています。

仕様の出典: Anthropic「Investigating unintended model actions during evaluations and internal use」(2026-10-09) / TechCrunch「Anthropic can't reliably control its AI agents. It's cutting off its internal evals from the live internet instead」(2026-10-09)

同じ週に、Microsoftのトップも「封じ込め」を口にした

TechCrunchによると、MicrosoftのSatya Nadella CEOは2026-10-10(米国時間)にXへ投稿し、AIの「信頼の設計」を見直す時期だと述べました。モデルが侵害されている前提で最初から封じ込める、という考え方を緊急ブレーキにたとえています。

報道で挙がっている提案は4点です。モデルを、作業を指揮する仕組み(ハーネス)から切り離す。制御と安全策をモデルの外側に置く。意味のある行動はすべて、改ざんできず人が読める記録に残す。権限を持つ人が、作業の途中でもモデルを止められるようにする。製品の発表ではなく、Microsoftの製品にどう反映されるかは書かれていません。

AIモデルを作る側の2社が、同じ週にそろって「モデルの中の安全対策だけに頼らず、外側で囲う」方向を示した形です。モデルが賢くなるのを待てば片づく問題ではない、ということです。

仕様の出典: TechCrunch「Microsoft's Satya Nadella says AI models need an 'emergency brake'」(2026-10-10)

発注側にとって何が変わるか

変わるのは、AIエージェントに社外のWebサイトを触らせるときの前提です。これまでは「悪意のある指示を入れられたら危ない」という話が中心でした。今回の事例は、普通に課題を渡しただけで、送信してはいけないものを送り、払うべき料金を払わずにデータに届いた、という形です。

自社でエージェントを動かしていれば、こうした行動は自社のネットワークから、自社のアカウントで起きます。相手のサイトから見れば、送ってきたのはAnthropicではなく自社です。問い合わせフォームへの誤送信なら謝罪で済むかもしれません。しかし、他人が発行したトークンを使った、有料データを無断で取った、となれば、相手の利用規約に反するおそれがあります。法的にどう評価されるかは個別の事情によるので、心配な場合は弁護士に確認してください。

もう1つは、原因の多くが発注側で手当てできる種類のものだという点です。Anthropicが挙げた「課題が曖昧」「達成できない課題」「境界が指示に書かれていない」は、エージェントに渡す指示書の書き方の問題です。システムを外注するなら、開発会社任せにせず、発注側が業務の言葉で書くべき部分でもあります。

逆に、変わらないこともあります。モデル提供者の対策は、まず自社の評価と社内利用に向けたものです。製品に組み込む予定とはしていますが、時期は書かれていません。自社で動かすエージェントの囲い方は、これまでどおり自社(または開発会社)が決めることです。

日本の会社への影響

2026-10-12時点で、Claude API、Claude Code、Claude.aiの仕様や提供条件を変えるという発表はありません。公表された事例に顧客データは関わっていないとされています。社員がチャットで文章作成や要約にClaudeを使っている会社が、今回の件で何かを止める必要はありません。

影響が出るのは、Webの閲覧・検索、フォームの入力、外部APIの呼び出しといった、社外に手を伸ばす道具をエージェントに持たせている会社です。調査の自動化、競合サイトや公開データの収集、申請や登録の代行などがこれに当たります。Claudeに限らず、ほかのモデルでも同じ種類のことは起こり得ます。2026年9月には、OpenAIの研究用エージェントが外部にデータを送っていた件や、政府サイトの制限を回り道した件も公表・報道されています。

日本語での報道は、発生した事実をまとめた速報が中心です(2026-10-12時点)。発注側が自社のエージェントで何を確かめるかまでは、まだあまり書かれていません。

いまやること・待ってよいこと

Anthropicの4類型を、自社で動かすエージェントに置き換えると、確かめることは次の表のとおりです。

今回の類型自社で起きるとしたら決めておくこと
フォームの誤送信 テスト用のつもりで、本物の問い合わせ・申請・注文フォームを送る 送信・購入・登録・予約など社外に跡が残る操作は、人の承認を挟む。「最後の手前で止まる」を指示だけに頼らず、ツールの側で送信できなくする
料金・トークンの回り道 見つけたAPIキーや公開トークンを使って、有料・会員限定のデータを取る 接続してよいサイトとAPIを許可リストにする。見つけた認証情報は使わない、を指示書に書く。有料データは契約したものだけを使う
サーバーの欠陥の利用 相手のツールがエラーを返したとき、別の入口や裏口を探す エラーや拒否が返ったら、回り道せずに止まって報告させる。何回まで再試行してよいかを決める
外部サービス経由の回避 URL短縮や変換サービスなど、許可していない外部サービスにデータを渡す 外向きの通信を許可した宛先だけに絞る。業務データを含むURLや文章を、許可していないサービスに渡さない

エージェントに渡す指示書に書く6項目

  • 目的: 何のための作業か。成果物は何か
  • 対象: 触ってよいサイト・システム・データの範囲
  • してよい操作: 読むだけか、入力までか、送信までか
  • してはいけない操作: 送信、購入、登録、他人の認証情報の利用、許可していない外部サービスの利用
  • ネットワークの境界: 社外に接続してよい宛先
  • 行き詰まったとき: できない・拒否された・エラーが出たら、回り道せず止まって何が起きたかを報告する

中でも6つ目です。Anthropicは、達成できない課題がこうした行動を引き起こしたとしています。「できないときに止まってよい」と書いていない指示は、エージェントに回り道を選ばせやすくなります。

待ってよいこと

  • 社内でのチャット利用(文章作成・要約・翻訳)を止めること。今回の件とは関係がありません
  • モデルの乗り換え。同じ種類の行動は他社のモデルでも報告されており、乗り換えで解決する問題ではありません
  • Anthropicの対策が製品に入るのを待ってから動くこと。時期が書かれていないので、外側の囲いは自社で先に用意します

権限・記録・止め方の決め方は「AIエージェントに社内データを触らせる前に決めること」で、Webサイトを持つ側の対策は「OpenAIのAIエージェントが政府サイトの制限を突破」の記事で整理しています。

出典

  • Anthropic「Investigating unintended model actions during evaluations and internal use」(2026-10-09): https://www.anthropic.com/research/investigating-unintended-model-actions
  • TechCrunch「Anthropic can't reliably control its AI agents. It's cutting off its internal evals from the live internet instead」(2026-10-09): https://techcrunch.com/2026/10/09/anthropic-cant-reliably-control-its-ai-agents-its-cutting-off-its-internal-evals-from-the-live-internet-instead/
  • TechCrunch「Microsoft's Satya Nadella says AI models need an 'emergency brake'」(2026-10-10): https://techcrunch.com/2026/10/10/microsofts-satya-nadella-says-ai-models-need-an-emergency-brake/
  • piyolog「AnthropicのAIモデルが米国政府サイトへ意図しない送信を行っていた事案についてまとめてみた」(2026-10-11): https://piyolog.hatenadiary.jp/entry/2026/10/11/012014

よくあるご質問

Anthropicは何を公表したのですか?
2026-10-09(米国時間)に、評価や社内利用の最中にClaudeが外部のWebサイトで意図しない行動をとった事例を公表しました。送ってはいけないフォームの送信、料金がかかるデータへの回り道、サーバーの欠陥の利用、URL短縮サービスを使った制限の回避の4類型です。すべての社内評価でインターネット接続を止めています。
Claude APIやClaude Codeを使っている会社に影響はありますか?
2026-10-12時点で、Claude API・Claude Code・Claude.aiの仕様や提供条件を変えるという発表はなく、顧客データが関わった事例もないとされています。ただし、自社でWebの閲覧やフォーム入力ができるエージェントを動かしている場合は、同じ種類の行動が自社の環境でも起こり得る前提で、承認と許可リストを見直すことをおすすめします。
なぜAIエージェントはこうした行動をとるのですか?
Anthropicは、課題が曖昧か達成できないこと、ツールの制限、指示に対象・許される操作・ネットワークの範囲が書かれていないこと、制限の回避に報酬を与えていた学習環境を挙げています。悪意ではなく、課題を解こうとして回り道を選んだ結果とされています。
自社でAIエージェントを使うとき、最低限なにを決めればよいですか?
社外に跡が残る操作(送信・購入・登録)に人の承認を挟むこと、接続してよいサイトとAPIを許可リストにすること、エラーや拒否が返ったら止まって報告させること、の3点です。あわせて、何をしたかの記録を残し、誰が途中で止められるかを決めておきます。

自社の場合はどうなるか、直接聞いてください。

初回は1時間、無料でヒアリングします。 一般論ではなく、御社の状況に当てはめてお答えします。決まっていない段階でかまいません。

  1. 1

    フォームを送信

    1分で終わります。相談内容は一言でかまいません。

  2. 2

    2営業日以内に返信

    開発を担当する者が直接ご連絡し、日程を調整します。

  3. 3

    1時間の無料ヒアリング

    課題を伺い、その場で画面イメージと進め方をお見せします(オンライン可)。

ご相談の種類当てはまるものを選ぶだけでも送れます(複数可)

初回1時間は無料です。いただいた内容はご相談への回答にのみ使用します。

ご相談後に、こちらからしつこく営業することはありません。見積もりだけ・壁打ちだけのご相談も歓迎です。

関連する記事