Agent Memoryの能力と導入効果を評価する

評価結果から設定とツールを選び直す

　Oracle AI Agent Memory 26.8のAPIリファレンス「Agent Memory」では、メタデータの絞込み、キーワード検索、ベクトル検索、その併用が案内されています。案件の条件と意味の近さを組み合わせ、取りこぼしや不要な記憶の混入を調べます。

　「どの決定が後で変更されたか」は、意味の近さだけでは探せない場合があります。情報を点、関係を線で表すグラフなら、記憶のつながりをたどれます。

　第4回で紹介したZepの「getzep/graphiti」のREADMEでは、事実の有効期間と元の会話を保持するグラフを説明しています。変更前の関係も履歴として残るため、現在の状態と過去の状態を区別して検索する構成を検討できます。

　Oracleのガイド「Create and Search Linked Memory Graphs」には、新旧の記憶に「置き換え」などの関係を付け、検索結果から関連する記憶をたどる実装例があります。記憶とリンクは同じDBで扱えます。変更の経緯や複数の根拠を取り出せない場合に、この方法を試す意味があります。

　通常の検索と同じデータで比べ、根拠の取得と依頼の成功、古い記憶の誤用、適用範囲・アプリ側の認可の違反を調べます。

導入効果と業務で使うための条件を確かめる

　Memoryの追加前と比べ、導入の目的に沿った改善が得られたかを確認します。過去に伝えた条件を使えるようになったか、変更後の指定を取り違えなくなったか、という観点で結果を見ます。

　次に、その構成を業務で使えるかを判断します。依頼の成功率が上がっても、利用者が待てないほど時間がかかったり、人の確認・修正が増えたりするなら、構成を見直す必要があります。

　評価の前に、表2を使って必要な改善と許容できる負担を利用者と決めておきます。

　表2 評価結果を導入の判断に使う観点

　判断は、成功率だけでは決まりません。例えば、確認・修正の手間を減らすことが目的なら、システムの費用が多少増えても、人の作業時間が十分に減れば採用する理由になります。一方、成功率が上がっていても、権限外の記憶を参照する問題が残っていれば、その状態では利用を進めません。

　必要な改善が得られ、業務で使うための条件も満たした構成について、導入する範囲を決めます。結果には対象の依頼と実行件数を添え、確認できた範囲を明確にします。

まとめ

　第1回から第4回では、LLMの忘却、Agent Memoryの全体像、記憶のライフサイクル、実装方法を紹介しました。今回は、ツールの能力と、組込み後の導入効果を評価する方法を扱いました。

　公開ベンチマークでは、用途に合う能力の結果と測定条件から候補を選びます。組込み後は、記憶が依頼の完了に役立つかを確かめ、失敗した処理を見直します。成功率だけでなく、時間や費用も含めて導入を判断することが大切です。

　次回は最終回として、Agent Memoryを個人からチームや組織へ広げる際の共有と管理を取り上げます。どの記憶を共有し、誰に読み書きを認めるのか。誤った記憶が広がったとき、誰がどこまで訂正するのか。公開研究と実装例を基に、共有範囲と管理責任、アクセス制御やセキュリティを考えます。