Agent Memoryの能力と導入効果を評価する

公開ベンチマークで必要な能力を確かめる

　公開ベンチマークは、共通の履歴・質問・正解・手順で能力を比較するためのものです。第4回で触れたLongMemEvalとBEAMに、LoCoMoを加えて紹介します。いずれも回答LLMを含む評価であり、保存や検索だけの性能ではありません。

過去の会話の理解を評価するLoCoMo

　LoCoMoは、複数回に分かれた長い会話の理解を評価します。Maharanaらの論文「Evaluating Very Long-Term Conversational Memory of LLM Agents」（ACL 2024）で提案され、著者公開のリポジトリ「snap-research/locomo」に10会話・1,986問のlocomo10.jsonがあります。単一・複数の手掛かり、日時の推論、会話と一般知識、会話から答えられない問題を扱います。

　質問応答のうち回答可能な問題は、正解と回答の語の重なりを見るF1で評価します。原論文の結果表で比較条件と質問種類別の結果を確認し、単一の根拠なら答えられるが複数では崩れる、といった違いを読みます。

情報の変更や会話をまたぐ記憶を評価するLongMemEval

　前述のLongMemEvalの500問は、ユーザーとアシスタントの発言、好み、複数の会話の情報、変更後の情報、日時や期間の推論を扱います。根拠がない質問も含み、誰の発言か、今も有効か、離れた根拠を組み合わせられるかを確かめます。

　回答の正誤は評価用LLMが判定します。日時と根拠の会話IDもあり、検索の成否を調べられます。履歴は2種類で、短い方をS版（約11.5万トークン）、長い方をM版（約150万トークン）と呼びます。トークンはLLMが文章を処理する単位です。比較には同じ版を使います。本稿では第1版（V1）の結果を扱います。

長い履歴で記憶を使う能力を評価するBEAM

　BEAMは、Tavakoliらの論文「Beyond a Million Tokens: Benchmarking and Enhancing Long-Term Memory in LLMs」で提案されたベンチマークです。著者公開のリポジトリ「mohammadtavakoli78/BEAM」には、約10万〜1,000万トークンの100会話・2,000問があります。想起、複数会話の推論、更新、時間の推論、矛盾の解消、出来事の順序、指示・好みへの追従、要約、回答不能への対応という10能力を扱います。

　9能力はLLMによる部分点、出来事の順序は専用の指標を使うため、全問の正答率とは異なります。長さ別・能力別の結果を確認します。1M（約100万トークン）と10M（約1,000万トークン）は異なる会話群なので、差を長さだけの影響とは扱いません。

公開データを使う方法と公表結果の確認先

　公開データは自作Agentにも使えます。履歴の登録と回答の保存を実装し、データの質問に回答させ、著者が公開する手順で評価します。正解は評価側だけで使い、問題間で履歴を混ぜずに実行します。少数で動作を確認してから対象全体へ広げます。

　LoCoMoは前述のリポジトリ、LongMemEvalは著者の「xiaowu0162/longmemeval-cleaned」（履歴の改訂版）、BEAMは著者の「Mohammadta/BEAM」「Mohammadta/BEAM-10M」から取得できます。使用する版を記録し、日本語の表現や固有の用語、権限、操作結果は利用場面に合わせたデータで補います。

　表1は2026年10月12日に確認した各社の公表値です。回答モデルや検索設定が異なるため、順位ではなく、評価する候補と構成を選ぶ材料にします。

　表1 主要ツールの公表値と測定条件

• LoCoMoの表1の値は、回答不能を除く1,540問をLLMが正誤判定した結果。原論文のF1とは比較しない。
• BEAMの表1の値は、部分点を含む平均。Mem0の0〜1の値は百分率へ換算している。製品間で集計実装が同じかは未確認。

　xhighやmediumは回答LLMの推論量の設定です。ZepのLoCoMoは全体値と内訳合計に不一致があるため、表では公式の全体値を引用しています。条件や内訳は表1の出典で確認できます。

　総合点に加え、用途に合う能力の結果を見ます。図2はOracleの解説記事「Oracle AI Agent Memory: A Governed, Unified Memory Core for Enterprise AI Agents」に掲載された2026年5月の結果です。2026年10月12日時点の最新版26.8.0では、表1の配布ページで、図の93.8％より高い94.4％（472／500問）が公表されています。

　過去の提案の再利用ならアシスタント発言の想起（Single-session assistant、100.0％）、条件変更なら情報更新（Knowledge update、94.9％）、何度かの相談を踏まえた判断なら複数セッション（Multi-session、88.0％）に注目し、評価する問題を選びます。

　図と表1は全条件が同一とは確認できず、差を版の更新だけの効果とは判断できません。図の回答はGPT-5.5 xhigh。横軸は80％から始まるため数値で差を読みます。

　条件差が結果に表れる例が、Redisの「Agent Memory benchmark report」です。Oracle AI Agent Memoryは回答モデルがGPT-5.5 xhighで86.0％、GPT-4oで78.1％でした。GPT-4oでのAmazon Bedrock AgentCoreは77.0％、Google Vertex Memory Bankは42.4％です。図3のOracleは前者のモデル設定で、他の再評価行とは条件が異なります。

　図3の赤はRedisの構成、紫はRedisが再評価した製品、灰色は未検証の公表値です。2026年9月公開、同年5月の評価資料に基づき、6種類の正答率を同じ重みで平均しています。表1とは集計が異なり、灰色のMem0の49.0％から改善幅は計算できません。