生成AIのハルシネーション克服へ RAG構築における「データ構造化」の4つのポイントとは?
複雑な文書を“正しく”構造化する「DLA」、ポイントとなる「チャンク最適化」
ChatGPTのリリース以降、日本国内の企業でも生成AIの導入が進んでいるが、実業務で定常利用するには至っていない。その背景には、ハルシネーションなどに対する懸念がある。ハルシネーションを抑えるためにはRAG(Retrieval-Augmented Generation)の利用が有効だが、そこで必要となるのが「構造化」という技術だ。本記事では、なぜ構造化が必要なのか、どのような手法があるか、そして構造化の精度が生成AIを実利用するビジネス現場にどのような影響をもたらすのか紹介する。
この記事は参考になりましたか?
- この記事の著者
-
谷本 龍一(タニモト リュウイチ)
ストックマーク株式会社オープンデータユニットリーダー。生命情報学分野で修士号を取得後、2016年よりストックマークに参画。同社が開発する自然言語処理を活用した企業文化変革の支援を行うSaaSであるAnewsとAstrategyの立ち上げを担当。2019年にビジネスドキュメントの収集・解析を行うデー...
※プロフィールは、執筆時点、または直近の記事の寄稿時点での内容です
この記事は参考になりましたか?
この記事をシェア