この論文はスタンフォード大学とハーバード大学によるもので、なぜほとんどの「エージェント型AI」システムがデモでは印象的に見えるのに、実際の運用では完全に崩壊してしまうのかを説明しています。

それは「エージェント型AIの適応」と呼ばれ、私が今年読んだ中で最も重要な論文です。
現在、誰もが自律エージェントの構築に夢中になっています。ツールやメモリ、目標を与え、それに従って仕事をさせることを期待しています。
しかし、実際の現場で展開すると、ツール呼び出しを幻覚し、長期的な計画に失敗し、壊れてしまいます。
その理由は次の通りです：
私たちはすべての学習をAIの脳に詰め込みすぎているのです。
開発者が壊れたエージェントを修正しようとすると、通常はメインモデルを微調整してより良い最終回答を生成させるだけです。
しかし、研究者たちはこのアプローチに致命的な欠陥を発見しました。
AIに最終的な答えを正解させるだけで報酬を与えると、怠けるようになります。
文字通りツールの使用をやめてしまい、作業をせずに答えを推測しようとします。計算機を無視して頭の中で計算しようとします。
これを修正するために、研究者たちはエージェントが実際に学習すべき新しい4つの枠組みを策定しました。
そして、最大のポイントは、現在の常識を完全に覆すものです。
巨大で高価な「脳」を絶えず再訓練するのではなく、最も信頼できるシステムは逆のことを行います。
脳を凍結し、ツールを適応させるのです。
これを「エージェント監督型ツール適応」と呼びます。