MySQLをベクトルストアとして活用することのメリット
近年ベクトルストアに対する注目度が上がっています。ベクトルストアを使うことで、ベクトルデータを保存できます。また、ベクトルデータの距離を求めることで類似するデータを検索できます。データベースでテキストデータを検索する時に一般的に使われるキーワード検索では、一致するキーワードがないと情報を検索できません。しかし、ベクトル検索を使うことで、キーワードと完全に一致していなくても意味的に近いデータを取り出せるようになります。
そのため、LLM（Large Language Models）を活用する時に、LLMが持っていない知識を補完する目的でベクトルストアが使われることがあります。この技術はRAG（Retrieval Augmented Generation）と呼ばれています。HeatWaveではこのRAGを簡単に実現するための仕組みも持っているのですが、HeatWaveでRAGを簡単に実現する方法については今後の記事で解説予定です。
ベクトルストアは、RAG以外でも様々な活用方法が考えられます。例えば、最近はSlackなどのチャットツールを使ってテキストでコミュニケーションをする機会が増えている方も多いと思いますが、過去のチャット履歴をキーワードで検索して上手く見つけられなかったことはありませんか？ キーワード検索では、検索するキーワードと一致するテキストしか検索できないため、過去のチャットで使っていたキーワードを正しく思い出せないと探したいチャット履歴を検索することは難しいです。しかし、もしこのケースでベクトル検索が使えると、過去のチャットで使っていたキーワードと完全に一致していなくても、意味的に近い言葉からも関連するチャット履歴を検索できるようになります。
ベクトルストアを使用する時、ベクトルストア専用のデータストアを使用することもできます。しかし、MySQLをベクトルストアとして使用することで、主に以下の2つの利点があります。
- 既にMySQL内にあるテキストデータに対して簡単にベクトル検索できる
- ベクトル検索を、従来のMySQLの（RDBMSの）検索機能とも組み合わせて活用できる
HeatWave MySQLでは、テキストデータに対してエンべディングを生成する（データの意味を考慮してベクトル化する）関数が使用できます。また、テキスト情報を持つテーブルの全行に対して一括でエンべディングを生成する関数もあります。そしてベクトル間の距離を求める関数もあります。つまり、HeatWave MySQLを使うと、外部のLLMと連携する必要なく、MySQLに対してSQLを実行するだけで簡単にベクトル検索を活用できます。
また、HeatWave MySQLでベクトル検索を行う時は、DISTANCE関数を使います。DISTANCE関数はHeatWave MySQLで使える関数の一つとして実装されています。そのため、他の検索条件と組み合わせて検索できます。例えば、先ほどのチャット履歴を検索する例で考えると、チャット履歴を保存するテーブルに発言者のユーザーID列があれば、WHERE句に「ユーザーID=XX」という条件を追加するだけで、特定ユーザーの発言だけに限定してベクトル検索を実行できます。
MySQLをベクトルストアとして活用する上での基礎知識
本稿執筆時点で、ベクトルストアに関連する関数やルーチンとして以下のものがあります。また、ベクトルデータをテーブルに格納する時には、VECTORデータ型を使用します。
-
STRING_TO_VECTOR関数、VECTOR_TO_STRING関数：文字列で表現されたFLOATの配列データをベクトルデータに変換する関数、ベクトルデータをFLOATの配列データの文字列に変換する関数
-
VECTOR_DIM関数：ベクトルデータの次元を求める関数
-
ML_EMBED_ROWルーチン、ML_EMBED_TABLEルーチン：テキストデータに対してエンべディングを生成するルーチン
-
DISTANCE関数：ベクトル間の距離を求める関数（※）
※VECTOR_DISTANCE関数もありますが、DISTANCE関数のシノニムとなっており、実態は同じものです。
VECTORデータ型や1.と2.については、MySQL 9.0以降で使用できます。3.と4.については通常のMySQLでは使用できませんが、オラクルクラウド上で提供しているMySQLのマネージドサービスであるHeatWave MySQLで使用できます。そのため、MySQLをベクトルストアとして活用するためには、基本的にはHeatWave MySQLを使う必要があります。
エンべディングの生成を外部のLLMで行ったり、ベクトル間の距離はアプリケーション側でライブラリを使うなどして求めることで、通常のMySQLをベクトルストアとして使うこともできます。ただし、その場合は前述の1つ目の利点は失われてしまうため、MySQLをベクトルストアとして使用したい場合は、HeatWave MySQLを使うことをお勧めします。
