SHOEISHA iD

※旧SEメンバーシップ会員の方は、同じ登録情報(メールアドレス&パスワード)でログインいただけます

EnterpriseZine(エンタープライズジン)編集部では、情報システム担当、セキュリティ担当の方々向けに、EnterpriseZine Day、Security Online Day、DataTechという、3つのイベントを開催しております。それぞれ編集部独自の切り口で、業界トレンドや最新事例を網羅。最新の動向を知ることができる場として、好評を得ています。

最新イベントはこちら!

Enterprise IT Women's Forum

2025年1月31日(金)17:00~20:30 ホテル雅叙園東京にて開催

Security Online Day 2025 春の陣(開催予定)

2025年3月18日(火)オンライン開催

EnterpriseZine(エンタープライズジン)編集部では、情報システム担当、セキュリティ担当の方々向けの講座「EnterpriseZine Academy」や、すべてのITパーソンに向けた「新エバンジェリスト養成講座」などの講座を企画しています。EnterpriseZine編集部ならではの切り口・企画・講師セレクトで、明日を担うIT人材の育成をミッションに展開しております。

お申し込み受付中!

EnterpriseZine(エンタープライズジン)

EnterpriseZine編集部が最旬ITトピックの深層に迫る。ここでしか読めない、エンタープライズITの最新トピックをお届けします。

『EnterpriseZine Press』

2024年秋号(EnterpriseZine Press 2024 Autumn)特集「生成AI時代に考える“真のDX人材育成”──『スキル策定』『実践』2つの観点で紐解く」

EnterpriseZine Press

生成AIのハルシネーション克服へ RAG構築における「データ構造化」の4つのポイントとは?

複雑な文書を“正しく”構造化する「DLA」、ポイントとなる「チャンク最適化」

 ChatGPTのリリース以降、日本国内の企業でも生成AIの導入が進んでいるが、実業務で定常利用するには至っていない。その背景には、ハルシネーションなどに対する懸念がある。ハルシネーションを抑えるためにはRAG(Retrieval-Augmented Generation)の利用が有効だが、そこで必要となるのが「構造化」という技術だ。本記事では、なぜ構造化が必要なのか、どのような手法があるか、そして構造化の精度が生成AIを実利用するビジネス現場にどのような影響をもたらすのか紹介する。

生成AI利用のカギを握る“データの構造化”

 ChatGPTは2022年11月に一般向けにリリースされて以来、2024年8月時点で週間アクティブユーザーが2億人を突破し[1]、大きなイノベーションを生み出している。さらに、日本国内の企業利用においては、約7割の企業が生成AIを何らかの形で導入しており、企業利用においても生成AIが浸透していることがわかる。一方で、実際の利用頻度は定常利用(1日2回以上)が21%、定期利用(1日1回)が14%、不定期利用(数日に1回程度)が35%、未利用(それ以下、または使っていない)が30%と、いまだ定常利用には至っていない[2]。その大きな要因のひとつが、ハルシネーションに対する懸念だ[3]

 ハルシネーションを抑えるためには、生成AIが既存のデータを検索したうえで回答を生成するRAGを利用するのが一般的だ。たとえば、データベースで管理された業務データを用いたRAGシステムを構築することで、データに基づく適切な回答を返すことが可能となる。しかし、データベース管理されていない非構造化データとなると、話は別だ。

 非構造化データとは、たとえば企画書や報告書、製品マニュアルといった非定型なドキュメントを指し、企業内のデータの90%を占める[4]。非構造化データをRAGシステムに組み込むためには、まず、そのデータを検索可能なデータ形式に変換する必要がある。このプロセスが「構造化」だ。企業内の複雑なドキュメントを読み取り、適切に構造化することができれば、ハルシネーションを抑えたRAGシステムを構築できる可能性が生じる。

構造化とRAGシステムの概要

[画像クリックで拡大]


次のページ
構造化を実現する、4つの具体的手法とは?

この記事は参考になりましたか?

  • Facebook
  • X
  • Pocket
  • note
EnterpriseZine Press連載記事一覧

もっと読む

この記事の著者

谷本 龍一(タニモト リュウイチ)

 ストックマーク株式会社オープンデータユニットリーダー。生命情報学分野で修士号を取得後、2016年よりストックマークに参画。同社が開発する自然言語処理を活用した企業文化変革の支援を行うSaaSであるAnewsとAstrategyの立ち上げを担当。2019年にビジネスドキュメントの収集・解析を行うデー...

※プロフィールは、執筆時点、または直近の記事の寄稿時点での内容です

この記事は参考になりましたか?

この記事をシェア

EnterpriseZine(エンタープライズジン)
https://enterprisezine.jp/article/detail/20720 2024/11/18 09:00

Job Board

AD

おすすめ

アクセスランキング

アクセスランキング

イベント

EnterpriseZine(エンタープライズジン)編集部では、情報システム担当、セキュリティ担当の方々向けに、EnterpriseZine Day、Security Online Day、DataTechという、3つのイベントを開催しております。それぞれ編集部独自の切り口で、業界トレンドや最新事例を網羅。最新の動向を知ることができる場として、好評を得ています。

新規会員登録無料のご案内

  • ・全ての過去記事が閲覧できます
  • ・会員限定メルマガを受信できます

メールバックナンバー

アクセスランキング

アクセスランキング