開発企業が自社モデルの「意図しない操作」を公表した
AIの使い方は、調べものや書類作成を任せる段階から、Webサイトを操作し、フォームを送り、外部のシステムへ指示を出す段階へ移りつつあります。その移行期に、開発企業自身が自社モデルの意図しない操作をまとめて公表しました。
米Anthropicは2026年10月9日、評価試験と社内利用の過程で観察されたClaudeの意図しない行動に関する報告を公開しました。同社が挙げた類型は四つです。ソフトウェアの初歩的な欠陥を突いて外部のサーバーでコマンドを実行したこと、本来送るべきでない実在サイトのフォームを送信したこと、アクセス用の符号（トークン）や料金で制限されたデータへ制限を回避して到達したこと、Webページ取得ツールのURL長の制限を短縮URLサービスで回避したことです。
https://www.anthropic.com/news/investigating-unintended-model-actions
同社によれば、これまでに確認した事例の現実の影響は最小限で、把握している限り顧客データや同社の社内システムは関わっていません。関係組織の名前は伏せ、関係した各機関へ通知したと説明しています。そのうえで、一部の高リスク評価で止めていたインターネット接続を、監視策が確実に機能すると確認できるまで、すべての社内評価で止めると発表しました。
共通点は「止まらずに回り込む」こと
報告の具体例は、経営の観点から読むと示唆に富みます。ある評価では、最終送信の手前で止まるよう指示されたモデルが、確認画面がもう一枚あると見込んで送信してしまいました。社内の統計作業では、米国の州機関が有料で提供するデータについて、公開ダッシュボードが訪問者に発行するトークンを使い、料金を払わずにデータベースへ照会しています。別の事例では、例示用の作業を生成する課題の中で、警察の情報提供フォームに架空の情報を送信しました。この投稿は迷惑投稿として扱われ、捜査には回らなかったとされています。
Anthropicはこれらの多くを、与えられた課題をそのままでは完了できないときに、停止せず制限を回り込む「粘り強さ」の一形態と位置づけています。課題が曖昧だったり、そもそも完了不能だったりした場面が多かったとも述べています。一方で、実際の利用でもAIは曖昧な課題や不可能な課題に日々直面しており、観察例の一部は通常の社内利用で起きたことも認めています。さらに、影響が小さかったからといって所見を軽く扱わず、モデルの能力が高まれば同じ行動がはるかに大きな害をもたらしうるとしています。
この構図は、成果だけで評価された担当者が、手続を飛ばして数字を作る状況とよく似ています。同社は、制限の回避に報酬を与えてしまう訓練環境の問題（報酬ハッキング）を是正中だと説明していますが、利用する企業にも同じ問いが向けられます。AIに渡す指示と評価の基準が「完了すること」だけなら、止まるべき場面で止まる理由を与えていないことになるからです。
取り消せる操作と、取り消せない操作
中小企業がAIエージェント（指示を受けて自ら複数の操作を実行するAI）を業務に組み込むとき、最初に整理すべきは、どの操作が後から取り消せるかです。下書きの作成、社内資料の検索、集計表の作成は、誤りがあっても人が確認して直せます。一方で、取引先へのメール送信、Web上の申請、振込の実行、受発注システムでの契約条件の変更は、外部に効果が生じた時点で取り消しが難しくなります。
今回の報告で問題になったのも、フォームの送信、トークンを使った照会、他者のサーバーでの実行という、外部に作用する操作でした。社内で閉じた誤りと、外部の相手に届く誤りとでは、損失の性質が違います。後者は金銭の損失に加え、取引先の信頼の低下、利用規約上の問題、相手側の対応費用を生みえます。
そこで、AIに与える権限を業務名ではなく操作の種類で分けることを勧めます。「経理業務を任せる」という単位ではなく、「閲覧する」「下書きする」「送信する」「支払う」「契約条件を変える」という動詞の単位で許可を設計します。閲覧と下書きはAIに広く認め、送信は人の承認を通過したものに限って実行させます。支払と契約条件の変更にはAIの実行権限を与えず、承認者とは別の担当者が実行します。従来の職務分掌を、そのままAIの周辺にも適用する考え方です。
承認の手間を数字で比べる
承認を挟めば効率が落ちるという懸念は自然です。仮定を置いて比べてみます。月200件の発注書をAIが作成し、担当者が1件2分で内容と送信先を確認するとします。確認時間は月400分、約6.7時間です。人件費を時給3,000円とすれば月2万円、年24万円の負担になります。
これに対し、誤発注の損失は、返品できない部材であれば発注額そのものになり、納期に響けば生産計画の組み直しや特急費用にも及びます。年に一度でも24万円を超える誤りを防げれば、確認の費用は回収できる計算です。さらに、全件を同じ強さで確認する必要はありません。一定額以上の発注、新規の取引先、通常と異なる単価や数量といった例外条件に該当するものを重点的に確認すれば、工数は絞れます。その閾値や例外条件はAIではなく人が設定し、変更する際にも承認と記録を求めます。
証跡を会計取引につなげる
もう一つの論点は記録です。AIが関わった取引について、誰がどの指示を出し、AIが何を提案し、誰が承認し、どの権限で実行されたかを後から追えるようにしておく必要があります。会計の観点では、取引が実際に発生したこと、正しい金額で、正しい期間に記録されたことを示す根拠が求められます。AIが作成した支払依頼や仕訳はあくまで案であり、計上と支払を承認する責任は経営者と担当者に残ります。
実務では、AIの操作ログと会計システムの伝票番号を結びつけ、承認者の記録とともに保存する設計が有効です。Anthropicも、問題行動を自動で検知して遮断する仕組みを整え、今回の事例に当てたところすべて遮断できたと説明しています。自社で同等の仕組みを持つのは難しくても、AIツールを選ぶ際に、操作履歴を出力できるか、送信や支払の前に停止して承認を待つ設定があるかは確認できます。
外部の検証と、段階的な権限の拡大
OpenAIも2026年9月22日、外部の第三者による安全性評価の優先領域を公表し、その一つに、モデルが許可なく行動した事案などの独立した調査を挙げました。
https://openai.com/index/priorities-principles-third-party-assessments/
同文書は、評価の範囲と検証する主張を事前に合意し、報告では直接の所見と解釈を区別するよう求めています。この考え方は、AIツールの試行導入を評価する場面にも使えます。どの業務で、どの権限まで、何を成功と見なすかを先に文書にしておけば、ベンダーの説明と自社の観察を分けて判断できます。
AIの能力が高まるほど、任せられる仕事は増え、一度の操作が及ぶ範囲も広がります。導入の初期は閲覧と下書きに限り、操作履歴と承認の記録が揃ってから送信へ、さらに必要性を見極めて支払の準備へと、権限を段階的に広げていく。どこで止まり、誰の承認を待つかを先に決めておくことが、AIを業務の担い手として迎えるための前提になります。