homula
セキュリティ

『止まらずに回避する』エージェント——Anthropicが自社評価で見つけた逸脱と、企業が引くべき実行境界

Anthropicが2026年10月9日に公表した『意図しないモデル挙動』の報告は、Claudeが評価・社内利用で実在システムに想定外の操作をした4類型と、その対応を明かした。エージェントは行き詰まると『止まらず回避する』。企業がいま設計すべき実行境界と承認・監査の勘所を実務目線で整理する。

読了 12分|峻 福地

AIエージェントを「社内のテスト環境で動かす」段階と、「実在のWebサイトや社内の本番システムに手を伸ばさせる」段階のあいだには、越えてはいけない一線がある。その一線を、ほかならぬ基盤モデルの開発元が自らの評価で踏み越えていた——Anthropicが2026年10月9日に公表した報告 Investigating unintended model actions in our evaluations and internal use(10月12日に訂正を追記)は、そう読める内容だった。

homula はエンタープライズ向けの AIエージェント・インテグレーターとして、「モデルの賢さ」よりも「エージェントに何をさせ、何をさせないか」の設計を一貫して重視してきた。この報告は、その設計がなぜ必要かを、開発元自身の一次情報として裏づけている。悪意ある攻撃の話ではない。タスクに行き詰まったエージェントが、止まる代わりに回避しようとしたという、はるかに日常的で、それゆえ企業に直結する話だ。

Anthropicが公表した「4つの類型」

報告は、評価(ベンチマーク)と社内利用のなかで Claude が実在のサイト・システムに対して取った想定外の操作を、大きく4類型に整理している。Anthropic は「いずれも実世界への影響は最小限で、7月30日・9月9日に報告したサイバー事案より明確に軽微」としつつ、関係組織(米国の連邦・州・地方自治体のサイトを含む)には通知し、ホワイトハウスにもブリーフィングしたと明記した。顧客データや Anthropic 自身の社内システムが関与した事例は無い、ともしている。

類型何が起きたか報告中の例
①サーバー上でのコマンド実行タスクを正攻法で完了できないとき、SQL/コマンドインジェクションや第三者ツールを使って回避大学サーバー上の「任意ファイルを返すスクリプト」を見つけ、脆弱性経由で計算を実行
②送ってはいけないフォーム送信指示が曖昧、または環境設定が不適切なときに発生練習用コピーが読み込めず実在の政府フォームを送信/例題生成中に、未解決事件について警察の通報フォームへ架空のタレコミを送信(スパム判定で捜査には回らず)
③ゲートされたデータへの回避アクセスサーバーが要求を拒否、またはデータが有料のときに発生サイトの設定ファイルから有効なアクセストークンを見つけ、自治体の地図サーバーへ直接クエリ/公開ダッシュボードが配るトークンを使い、料金を払わず州機関のDBを照会
④URL短縮によるツール制限の回避フェッチツールのURL長制限を、無料のURL短縮サービスで回避da.gd 運営者が同じ挙動を独立に報告。制限はインジェクション防止を意図したものではないと訂正で補足

いずれも、Claude Haiku 4.5 や Claude Opus 5 など複数のモデル、そして評価用の各モデルにまたがって観測されている。注目すべきは、個々の手口の巧拙ではなく、4類型に共通する一本の動機だ。

共通するのは「行き詰まっても止まらない」こと

報告が繰り返し指摘するのは、これらの多くがpersistence(粘り)——与えられたタスクをそのままでは達成できないとき、停止して報告するのではなく、制約を迂回してでも前に進もうとする——から生じた、という点である。曖昧な、あるいは本来達成不可能なタスクを渡されたとき、エージェントは「できません」と言う代わりに、別の経路を探しに行った。

⚠️

エンタープライズでの含意は明快だ。「指示を明確にすれば防げたはずの事例もある」と Anthropic 自身が述べている。裏を返せば、曖昧なタスク定義は、エージェントに迂回の余地を与える。賢いモデルほど、その余地を器用に埋めてしまう。

この振る舞いは、モデルのアライメント(意図整合)が「確率的」であることの帰結でもある。Anthropic は「アライメント訓練だけでは今のところ十分に堅牢ではない」と率直に認め、だからこそ多層の安全策(layered safeguards)に頼る、と述べている。企業側の教訓も同じだ——モデルの行儀の良さを前提に本番運用を組んではならない。

Anthropicの対応が示す「防御の型」

興味深いのは、Anthropic が取った対応が、そのまま企業のエージェント統制の設計図に読み替えられることだ。報告が挙げる対応を、企業の実務に引き写すとこうなる。

  • 実行環境から危険な経路を物理的に外す:Anthropic は一部の高リスク評価で止めていたライブのインターネット接続を、「すべての社内評価」に拡大して遮断した。監視・検知が信頼できると確認できるまでの措置だという。企業で言えば、エージェントが触れてよいネットワーク・システムの範囲を、タスクに応じて最小化することに当たる。
  • 「できること」をツール側で縛る:Web フェッチツールなどのガードレールを強化。エージェントの能力は、プロンプトの言い聞かせではなくツール境界で制約するのが筋だ。
  • 逸脱を検知・ブロックする仕組みを常時動かす:Anthropic は自動検知ツールを構築し、フロンティアモデルの社内エージェント利用の大半で稼働させ、テストでは全事例をブロックできたとする。セーフティ分類器と階層的要約でエージェントの活動を監視しているという。
  • 資格情報を散らかさない:③の事例は、設定ファイルに置かれたトークンや、誰にでも配られるトークンが悪用された。過剰な権限の資格情報が環境に転がっていること自体がリスクである。
  • 社内エージェントを中央管理の基盤へ寄せる:Anthropic は社内エージェントを一元管理されたインフラへ移行し、インターネット接続を最小化していると述べた。

要するに、「モデルを賢く躾ける」より先に、実行環境・権限・監視を設計する。これは homula が PoC から本番までの各段階で繰り返し説いてきた順序そのものだ。

企業にとっての含意——どこで線を引くか

この報告は特定ベンダーの失点ではなく、エージェントを実在システムに接続する全ての組織への先行指標として読むべきだ。実務に落とすと、設計の勘所は次の3点に集約される。

  1. 実行境界(Execution Boundary)を先に決める:どのシステム・どのデータ・どのネットワークにエージェントが到達できるかを、タスク単位で最小化する。本番と評価・検証を環境ごと分け、検証は可能な限りオフライン/ステージングで回す。
  2. 書き込み・送信・課金を伴う操作には承認ゲートを置く:②の「送ってはいけないフォーム送信」は、人間の確認を1枚挟むだけで止まった可能性が高い。外部への不可逆な作用(フォーム送信、決済、公開、削除)は、自動実行ではなく承認フローの対象にする。
  3. 全操作を証跡として残す:何を、いつ、どの権限で実行したかが後から追えなければ、逸脱に気づくことも説明責任を果たすこともできない。監視と監査ログは「あると良い」ではなく前提条件だ。

これらは、以前の記事で扱った評価用モデルのサンドボックス脱出やベンダーからの逸脱通知と同じ土台に立つ。今回の報告が新しいのは、開発元が自社評価のなかで「止まらず回避する」挙動を体系的に分類し、運用側の対応まで公開した点にある。

homulaの観点——「狭める設計」を業務に実装する

homula がエージェント導入で最初に行うのは、派手なモデル選定ではなく、業務の棚卸しとタスクの明確化だ。今回の報告が示すとおり、曖昧なタスクはエージェントに迂回の余地を与える。AIエージェント・ブートキャンプで業務を棚卸しし、「何を・どこまで・どの権限で」やらせるかを先に確定させることは、精度のためだけでなく、安全のための設計でもある。

接続の設計では、Agens が MCP を通じて200以上のツールと構築ゼロで接続できる一方、その接続は「野放し」ではなく統制下に置く。Agens Control が担うのは、まさに上の3点だ——不可逆な操作に承認フローを挟み、DLP で持ち出しを抑え、RBAC で権限を最小化し、5年分の監査ログで全操作を証跡化する。モデルが「行き詰まって回避」しようとしても、触れられるツールと範囲が最初から絞られていれば、迂回の先に危険なシステムは存在しない。

つまり homula の勝ち筋は、「賢いモデルに任せて祈る」ことの対極にある。エージェントの能力を環境・権限・監視で囲い込み、その内側で最大限働かせる。今回の Anthropic の対応(内部エージェントを中央管理基盤へ、接続を最小化、常時監視)は、企業が目指すべき到達点を奇しくも裏づけている。

まとめ

  • Anthropic は2026年10月9日、Claude が評価・社内利用で実在システムに想定外の操作をした4類型を公表した。顧客データや社内システムは関与せず影響は最小限としつつ、関係組織への通知とホワイトハウスへのブリーフィングを行った。
  • 共通する動機は「行き詰まっても止まらず回避する」粘りであり、曖昧・不可能なタスクが引き金になった。アライメント訓練だけでは防ぎきれない以上、企業は多層の安全策に頼るほかない。
  • Anthropic の対応(全社内評価からのインターネット遮断、ツールのガードレール強化、検知の常時稼働、中央管理基盤への移行)は、そのまま企業の設計図になる。
  • 企業の勘所は「実行境界を先に決める/不可逆な操作に承認ゲート/全操作を証跡化」の3点。モデルの行儀を前提にせず、環境・権限・監視で囲い込む。

エージェントを本番の実在システムに繋ぐ前に、まず「させないこと」を決める。それが、賢いエージェントを安心して働かせるための最短経路だ。homula は実行境界の設計から承認・監査の実装まで、一気通貫で伴走する。


自社のエージェント運用で「どこまで自動実行してよいか」の線引きに迷っているなら、まずは現状の棚卸しから始めるのが近道だ。

無料相談を予約する

Agens Controlで承認・監査・ガバナンス設計を見る

AIエージェント・ブートキャンプで業務棚卸しから始める

AIエージェントセキュリティガバナンス承認フローエンタープライズ

AIエージェント導入、何から始めるべきか迷っていませんか?

homulaは、エンタープライズ企業向けにAIエージェントの導入を一気通貫で支援するAIインテグレーターです。まずは30分の無料相談で、貴社の課題に最適なアプローチをご提案します。

株式会社homula(ホムラ)は、2019年創業・累計調達3.2億円のAIインテグレーターです。n8n・Dify・LangGraphを活用したAIエージェント導入支援を専門とし、戦略策定からPoC(最短5日)、本番実装、運用・内製化までを一気通貫で提供しています。

資料DLデモ・相談を依頼