SHOEISHA iD

※旧SEメンバーシップ会員の方は、同じ登録情報(メールアドレス&パスワード)でログインいただけます

EnterpriseZine(エンタープライズジン)編集部では、情報システム担当、セキュリティ担当の方々向けに、EnterpriseZine Day、Security Online Day、DataTechという、3つのイベントを開催しております。それぞれ編集部独自の切り口で、業界トレンドや最新事例を網羅。最新の動向を知ることができる場として、好評を得ています。

最新イベントはこちら!

Enterprise IT Women's Forum

2025年1月31日(金)17:00~20:30 ホテル雅叙園東京にて開催

Security Online Day 2025 春の陣(開催予定)

2025年3月18日(火)オンライン開催

EnterpriseZine(エンタープライズジン)編集部では、情報システム担当、セキュリティ担当の方々向けの講座「EnterpriseZine Academy」や、すべてのITパーソンに向けた「新エバンジェリスト養成講座」などの講座を企画しています。EnterpriseZine編集部ならではの切り口・企画・講師セレクトで、明日を担うIT人材の育成をミッションに展開しております。

お申し込み受付中!

EnterpriseZine(エンタープライズジン)

EnterpriseZine編集部が最旬ITトピックの深層に迫る。ここでしか読めない、エンタープライズITの最新トピックをお届けします。

『EnterpriseZine Press』

2024年秋号(EnterpriseZine Press 2024 Autumn)特集「生成AI時代に考える“真のDX人材育成”──『スキル策定』『実践』2つの観点で紐解く」

Security Online Day 2024 秋の陣レポート

デジタル庁AI担当者が語る、生成AI利活用における「4つの観点・9つの留意点」 その軽減策とは?

失敗を未然に防ぐ「プロトタイプ」の重要性 ガイドブックには載っていないリスクも明かす

 デジタル庁は、2024年5月に『テキスト生成AI利活用におけるリスクへの対策ガイドブック(α版)』を公開し、生成AI利活用時のリスクやその効果的な対策について発表した。2024年9月25日、26日に開催された「Security Online Day 2024 秋の陣」では、本ガイドブックを執筆したデジタル庁 AI担当の大杉直也氏が、56ページに渡る内容を4つのポイントに絞って解説。加えて、α版には記載がなかった留意点なども紹介した。講演では、生成AIの活用を検討している企業などに向けて有益な情報を提供するとともに、効率的なシステム構築に向けたプロトタイプの重要性を示した。

回答に100%の精度を求めすぎ? 生成AIの「品質」における3つの留意点

 講演冒頭、大杉氏は自らが執筆した『テキスト生成AI利活用におけるリスクへの対策ガイドブック(α版)』(以下、ガイドブック)について紹介した。同ガイドブックでは、テキスト生成AIを活用する際のリスク対策について、“調達”を意識した工程ごとにまとめられている。同氏は、AI活用を本格的に考える際には「品質」「コスト」「スコープ」「その他」の4つの観点が重要だとし、それぞれの観点での留意点や軽減策を明かした。

 まず「品質」については、3つの留意点があると大杉氏。1つ目は、「目標が高すぎる」ことだ。例として、「生成AIの解答に100%の精度を求めるユーザーが多い」と同氏は述べる。生成AIの精度評価は、数学的な定義や指標の選定、テストケースの範囲設定など、考慮すべき点が多い。これらは個々のユーザーが目指すものに依存するため、完全な自動評価の実現は難しいのだという。

 「必ずしも100%の精度を求めずに、適切な利用法を考えるべきだ」と大杉氏は述べる。たとえば、ヘルプデスク業務の観点で言えば、業務をAIで完全に代替するのではなく、回答文の作成補助として活用することが有効だ。なお、この話題の詳細は、ガイドブック内の「2.1テキスト生成 AI の利活用が不適切であるケースにテキスト生成 AIを用いるリスク」「2.2テキスト生成 AI の利活用が効果的なケースを見落とすリスク」に記されている。

デジタル庁 AI担当 大杉直也氏
デジタル庁 AI担当 大杉直也氏

 2つ目の留意点は、「基盤モデルのバージョンアップにともなうデグレード」だ。たとえば、ある基盤モデルのバージョンが廃止され、後継バージョンへのモデル移行が推奨されていても、すべてのケースで対応できるわけではない。自社プロジェクトでは、常に品質やパフォーマンスの低下(デグレード)のリスクが存在する。なお、オープンソースの基盤モデルを自社でホストする場合は、この問題は発生しにくい。

 基盤モデルのバージョンアップによる影響を制御できない場合は、「軽減策として、デグレードが発生していないか判定する自動テストを導入し、評価できるようにすることが考えられる」と大杉氏。評価する方法として、バージョンアップ前のモデルが使用可能なうちに、A/Bテストを実施することを挙げた。詳細は、ガイドブックの「7.2テキスト生成AIを利用するためのWeb APIがクラウドサービスとして提供されるケースに関するリスクとその軽減策」にて述べられているとのことだ。

 3つ目の留意点は、「基盤モデルにない知識を求めてしまう」こと。たとえば、最新のニュースや細かい法的知識を求めても、基盤モデルがそれらを学習していない場合がある。また、インターネット上に流布する、不正確な知識を学習してしまうケースも報告されているという。さらに、一般的でない社内用語や略称が使われる、社内での利用も課題のひとつだ。

 この軽減策について、大杉氏は「基盤モデルの外側にデータベースなどを用意し、足りない知識の情報を基盤モデルへの入力部に含めるという、RAG(Retrieval-Augmented Generation)形式のやり方がある」と説明。なお、基盤モデル自体のファインチューニングは一般的に困難であるため、初期の利用においてはプロンプトに情報を書き込むという手軽なアプローチが推奨されるとした。この留意点は、「2.1テキスト生成 AI の利活用が不適切であるケースにテキスト生成 AIを用いるリスク」および「8 従来型の情報検索サービスをテキスト生成AIにより改善する手法」に詳しい。

次のページ
生成AIコストの課題 解決の鍵は“組織内でのリテラシー”

この記事は参考になりましたか?

  • Facebook
  • X
  • Pocket
  • note
Security Online Day 2024 秋の陣レポート連載記事一覧

もっと読む

この記事の著者

森 英信(モリ ヒデノブ)

就職情報誌やMac雑誌の編集業務、モバイルコンテンツ制作会社勤務を経て、2005年に編集プロダクション業務とWebシステム開発事業を展開する会社・アンジーを創業した。編集プロダクション業務では、日本語と英語でのテック関連事例や海外スタートアップのインタビュー、イベントレポートなどの企画・取材・執筆・...

※プロフィールは、執筆時点、または直近の記事の寄稿時点での内容です

この記事は参考になりましたか?

この記事をシェア

EnterpriseZine(エンタープライズジン)
https://enterprisezine.jp/article/detail/20663 2024/11/22 08:00

Job Board

AD

おすすめ

アクセスランキング

アクセスランキング

イベント

EnterpriseZine(エンタープライズジン)編集部では、情報システム担当、セキュリティ担当の方々向けに、EnterpriseZine Day、Security Online Day、DataTechという、3つのイベントを開催しております。それぞれ編集部独自の切り口で、業界トレンドや最新事例を網羅。最新の動向を知ることができる場として、好評を得ています。

新規会員登録無料のご案内

  • ・全ての過去記事が閲覧できます
  • ・会員限定メルマガを受信できます

メールバックナンバー

アクセスランキング

アクセスランキング