2024年の「生成AI」活用の成否は“検索”にあり　キーワードは検索エンジン×生成AI

生成AIの活用、2024年は「検索」の重要性が高まる

　グローバルだけでなく、日本においても大規模なECサイトやアプリケーションで広く支持されている「Elasticsearch」は、生成AIを組み込んだ機能強化を加速させている。

　多くの人がChatGPTなどで生成AIの利便性を認識している一方、企業利用においてセキュリティを担保することは難しい。従業員からは「安全に使う方法がわからない」と声が挙がる中、「利用を急ぎたい」とする経営陣の要望に頭を悩ませている担当者も少なくないだろう。

　そのために実践されているのが「RAG（Retrieval Augmented Generation：検索拡張生成）」と呼ばれる、生成AIによる回答の精度を向上させるための手法だ。とはいえ、社内データを適切に“検索”できなければ意味がなく、情報の種別によっては制限をかける必要もでてくるだろう。だからこそ、Elasticsearchで培ってきた技術が必要になってくる。そこで、Elasticでサーチソリューションの製品責任者を務めるマット・ライリー（Matt Riley）氏、同社日本法人でプリンシパルソリューションアーキテクトを務める古久保武雄氏に、既存システムに生成AIを組み込むポイントを訊ねた。

＊　　　　　＊　　　　　＊

──2023年は「生成AI元年」と言われるほどに注目が高まりました、このトレンドの変化をどう捉えていますか。

マット・ライリー氏（以下、ライリー）：2022年末に生成AIが登場すると、2023年には驚くほどの速さで採用が進みました。とはいえ、長い目で見たときには“初期段階”だと言えるでしょう。また、生成AIの普及と共に「従来の検索は置き換えられる」との見方もありましたが、実際には「併用すべき」だとハッキリしてきました。

　現在、GPT-4やGoogle Bard、Geminiなど、多くの大規模言語モデル（LLM）が利用されており、その使われ方はコンテキストに沿った回答を生成するという点で同じです。とはいえ、その回答精度には差があり、学習されているデータに基づいた回答しか得られない。そこが生成AIの活用における大きなボトルネックだと感じます。

古久保武雄氏（以下、古久保）：米国と比べると少しだけ遅れている部分はありますが、日本企業も同様の課題を抱えていますね。

ライリー：言語モデルが学習していない社内データなどを参照しながら、高精度の回答を得ることはアプリケーション開発において欠かせなくなっています。

　我々はお客様がアプリケーションを構築するときに必要なツールを提供することを重要視しており、2年前からベクトル検索やハイブリッド検索、LangChainとの統合など、研究開発を進めてきました。そして、生成AIに対するニーズが高まっている今こそ、Elasticsearchに組み込むべきだと「ESRE（Elasticsearch Relevance Engine）」を2023年5月に正式ローンチしたのです。

──なるほど、生成AIと検索のかけ合わせが課題解決の鍵になるのですね。実際にユーザーからはどのような声を聞きますか。

ライリー：「どうすればより効果的に生成AIを活用できるか」を模索する中、プライバシー保護、回答結果の精度向上などを課題視されていますね。

　特に、大規模なベクトル検索を用いて解決したい場合、技術的な難易度は高くなります。このときElasticsearchを利用することで解決できる部分もありますが、どのように本番環境で活用すべきかはよく考える必要があるでしょう。

古久保：検索エンジンに社内データを取り込むことで課題解決を図ろうとする動きは、日本でも見られます。とはいえ、「とりあえずやってみる」という段階の企業が多いですね。

ライリー：全体を見たとき、まだ初期段階にあるという点では米国でも同じですが、既に本番環境で活用している企業も見受けられます。

──では、どのように「ESRE」などを活用しているのでしょうか。

ライリー：お客様ごとに用途や目的が異なりますが、データプライバシーを重視するアプリケーションであれば、データプライバシーの制御機能を全文検索だけでなく、ベクトル検索にも適用可能です。

　たとえば、ドキュメント単位でアクセス権限を設定できるため、見せるべきでない検索結果が表示されることはありません。このとき、大規模な環境だったとしても瞬時に回答を表示できるだけのスケーラビリティを備えているだけでなく、ベクトル検索と全文検索を組み合わせることで“欲しい情報”を上位表示できる「ハイブリッド検索（RRF：Reciprocal Rank Fusion）」も提供しています。

　他にも、「ELSER（Elastic Learned Sparse EncodeR）」という、セマンティック検索に必要となるトレーニングを施したElastic独自の言語モデルも利用可能です。商用利用可能な同様の言語モデルは他社になく、まさにElasticsearchならではと言えるでしょう。

古久保：日本語での提供はこれからですが、これらの新機能は日本でも使っていただけます。たとえば、「AIアシスタント」というオブザーバビリティとセキュリティソリューションに組み込まれた機能は「こんなことができるのか」と驚かれることが多いですね。

──こうした独自の機能開発は、現場エンジニアの要望に応えたものなのでしょうか。

ライリー：もちろんです、フィードバックは何よりも重要であり、製品ロードマップにも盛り込んでいます。ElasticsearchはOSSとしてスタートしているため、世界中のコミュニティから寄せられたすべての声に目を通し、お客様に必要な機能があれば将来のリリースに向けて追加検討していきます。コミュニティの意見に基づいたプロダクトを作ることは我々の理念であり、そうしてきたからこそ今のElasticがあると言っても過言ではないでしょう。

「検索×生成AI」はどう活かす？ 日米の先進事例から探る

──実際にユーザーが成果を出している事例を聞かせてください。

ライリー：いろいろな分野で使っていただけますが、特に目立つのはカスタマーサポートセンターでの利用です。カスタマーサポート向けのアプリケーションを開発する際にElasticsearchを使うことで、コスト削減や問い合わせの早期解決につなげている企業は増えていますね。生成AIと検索エンジンを連携させることで、チャットボットでは難しい文脈にも正確な回答を返せるようになるなど、確実に成果を生み出しています。

　また、社内ドキュメントを従業員が検索する際にも役立っています。社内に散在しているデータを横断的に検索できる、Elasticsearchをベースとした「Elastic Enterprise Search（旧：Elastic Workplace Search）」にESREを用いることで、以前よりも的確な回答を導き出せるようになりました。

古久保：日本でも米国同様にカスタマーサポートと社内ドキュメント検索において、成果を上げはじめています。「日本は技術の導入が遅れている」とよく言われますが、生成AIにおいては該当しません。強いて一歩遅れている理由を挙げるとするならば、日本語特有の“検索の難しさ”でしょう。欧米の言語はスペースで単語が区切られていますが、日本語には区切りがないなど、日本ならではの事情もあります。

　他にも「いろいろ試したけれど、Elasticsearchがよかった」という声をよく耳にします。フリーのベクトル検索を試したものの検索精度が出ず、Elasticsearchのハイブリッド検索を使ってみたら精度が高まっただけでなく、アクセス権限でフィルタリングまでできることを知って感激する方もいらっしゃいましたね。

──では、実際にElasticsearchを活用する上でコツがあれば教えてください。

ライリー：検索においては「関連性（relevance）」がとても重要です。どれだけ正確なコンテキストを入力しても、関連性が低ければ出力される回答の質も悪くなるでしょう。これは、ベクトル検索だけでなく、ESREのようなセマンティック検索やハイブリッド検索でも変わりません。

　また、エンジニアが何か特別な技術やコツを習得する必要はありませんが、“新しい技術に慣れ親しむこと”は欠かせないと思います。たとえば、組み込み型の学習モデルが多く登場している中、いかに適切なモデルを選択できるか、スケールアウトさせられるかは重要でしょう。

古久保：もし、生成AIとElasticsearchをどう活用していくべきか悩んでいる場合は、個別のワークショップなどで積極的なサポートも行っています。

──最後に読者にメッセージをいただけますか。

古久保：やはり、生成AIの活用において社内ドキュメントの検索はホットトピックと言えるでしょう。このとき検索精度が最も重要になりますが、まだノウハウが十分でない方もいるかと思います。そうしたとき、Elasticsearchを一度使っていただきたいですね。

ライリー：今まさに世界中の企業が生成AIを事業に活かす方法を模索しています。そして、確実に言えるのは、新しい技術を使いこなしている企業だけが1年後に成功を収めているということ。その上で、生成AIを活用するためにツールを導入するならば、データプライバシーやエンタープライズ規模に耐え得るスケーラビリティを備えているのかなど、今後必要となる機能がすべて盛り込まれているのかを考慮することが重要です。

　我々は常に様々な選択肢を提供できるように開発を続けていますので、Elasticsearchを検討していただけると嬉しいですね。