「AIに自社データを学習させない」は本当に守られている？“SaaSに隠れたAI”を炙り出す4つの観点

AI活用を阻む3大リスク──ハルシネーションが損害を招いた例も

　昨今、AIが日常業務にも組み込まれ、ビジネスにおける「より深い活用」が模索されるようになってきたが、実はAIの定義そのものはいまだ明確ではない。経済産業省と総務省が公表する「AI事業者ガイドライン（第1.1版）」によれば、現時点で確立された定義はないものとしつつ、「AIシステム自体または機械学習をするソフトウェアもしくはプログラムを含む抽象的な概念」と位置付けている。

　AI事業者ガイドラインでは、AIを取り巻く主体を「AI開発者」「AI提供者」「AI利用者」「業務外利用者」の4つに分けて整理している。この具体例として、植木氏は無人コンビニエンスストア（以下、コンビニ）に決済を効率化するAIを導入するケースを挙げた。この場合、コンビニ決済を行うAIを開発するのがAI開発者、それをシステムに組み込んで店舗にサービスとして提供するのがAI提供者、実際に運用するコンビニ店舗がAI利用者、そして簡易決済の便益を受けるコンビニ利用客が業務外利用者にあたる。「自社がどの立場にあるかによって負うべきリスクと責任の範囲が異なるため、これを把握しておくことは非常に重要だ」と植木氏は述べた。

　では、AIを取り巻くリスクとは具体的にどのようなものか。情報処理推進機構（IPA）が公表する「情報セキュリティ白書2025」では、英国の科学・イノベーション・技術省（DSIT）の報告書に基づき、AIリスクを以下3つに分類している。

　1つ目は「AIの悪用がもたらすリスク」。サイバー犯罪者によるディープフェイクを悪用した詐欺・恐喝・偽情報拡散のほか、技術的ハードルの低下によるサイバー攻撃実践者の増加、またCBRN（Chemical/Biological/Radiological/Nuclear）兵器の開発に転用される可能性なども指摘されている。

　2つ目の「AIの不適切動作によるリスク」は、利用者の意図しない動作によって生じるものだ。代表例とされるハルシネーションに関しては、政府から依頼を受けたコンサルティングファームが生成AIを活用して作成したレポート上に、実際は存在しない論文・判例の引用があったとして、コンサルティングファームが政府に返金することとなった事例が紹介された。

　またAIのバイアスによるリスクも考慮する必要がある。例として同氏は、過去の採用データにおいて男女比率に偏りがあったことで、AIが女性応募者を不当に低評価したIT企業のケースを紹介した。さらに、AIが評価コードの抜け穴を悪用して見かけ上の高速化を達成した「コントロールの喪失」が招くリスク事例も示し、「AIに何かの仕事を任せる際には、その結果を人間がしっかりとチェックする必要がある」と、最終的には人間がチェックすることの重要性を説いた。

　3つ目のリスクは「システミックリスク」だ。これはAIそのものが正常に動作していても、社会へのAI浸透の過程で様々なバランスが崩れ、被害が生じるリスクを指す。

　植木氏はまた、Microsoftが公開している「AI shared responsibility model（AI共有責任モデル）」にも言及した。SaaSにおいてはAIの仕組みをクラウドサービス事業者に委ねる部分が多くなる一方、ユーザー教育や利用ポリシー・データガバナンスはAI利用者側が担う部分だ。「こうしたAI共有責任モデルを参考に、自分たちがどの立場にいるのかを正確に把握した上で、リスク対策の範囲を決めることが重要です」と強調した。

ベンダー4割強がAI学習データのルールを明示していない？

　ここまでの話を踏まえると、SaaSなどのクラウドサービスにおいてAIを活用する場合、その責任はAI開発者ないしはAI提供者となるベンダー側に委ねられると思われがちだ。実際どの程度のSaaSサービスがAIを提供しているのか、「Assuredクラウド評価」が3,212のSaaSサービスを対象に実施した調査（2025年7月調査）によれば、42.8%のSaaS提供企業がAIを利用または開発していることが明らかになった。既存のAIを利用しているサービスが24.9%、AIを自社開発しているサービスが7.7%、両方行っているサービスが10.2%という内訳だ。

　ここで問題なのは、その透明性だと植木氏。AIを利用または開発している1,374サービスを対象にした調査では、AIサービスの利用規約をユーザー向けに作成・明示していないサービスが42.1%に上ったという。加えて、学習データの収集・利用について法令遵守のためのルールを策定していないサービスも42%存在するという結果が示された。

　さらに、自社データの扱いも懸念されるポイントだ。AIを利用もしくは開発しているサービスの21.8%が預託データをモデルのトレーニングやファインチューニングに利用しており、そのうち22%は法令遵守のためのルールを定めていないという実態が指摘された。

　AIの品質管理やセキュリティ対策の実施状況にも課題は多く見られる。「AIに関する攻撃手法や動向について情報収集し、対応している」と回答したSaaSサービスは56.8%、「学習データやAIの出力結果・判断根拠などを定期的に評価し、バイアスなどを継続的にモニタリングしている」と答えたサービスも54.7%と、いずれも約半数にとどまっている。機能面から見たら便利なサービスであっても、ガバナンスの整備はSaaS事業者・利用者双方においてまだ発展途上であることがデータから見て取れる。

実は裏でAIが動いていた……「隠れAI」を把握する4つの観点

　このようにSaaSサービスに隠れたAIのリスクは様々だが、植木氏が特に注意を促すのが「隠れAI」だ。ChatGPTのように「生成AI」と銘打っているサービスを利用する際、多くの企業が利用におけるルールを設けてガバナンスを効かせている。しかし、表向きはSaaSサービスだが、その裏で実はAIが動いているケースは見落としが生じやすいと同氏は指摘する。

　このような隠れAIが生まれる典型的なパターンは2つ存在するという。1つは、サービスの利用規約にAIを利用していることが明示されておらず、そもそも気づけないパターンだ。先述の調査で42.1%のサービスが利用規約を明示していないことからも、無視できない大きなリスクであることがうかがえる。もう1つのパターンは、導入時点ではAIの利用がなかったサービスに後からAI機能が追加されたケースだ。植木氏は次のように警鐘を鳴らす。

　「導入時にはAIのリスク評価を行っていても、いつの間にかサービスが変更され、AIが裏で動いていることにユーザー企業が気づかないケースも見られます。定期的にセキュリティ評価を行わなければ、いつの間にか自社データがAIの学習データとして使われているといった事態になりかねません」（植木氏）

　このようなリスクを未然に防ぐために、SaaSサービス利用者が確認すべき項目として、同氏は以下4つの観点を挙げた。

• AIサービスの利用規約がユーザー向けに作成・明示されているか
• 学習データの収集・利用について法令遵守のためのルールが存在するか
• 預託データがAIの学習に使われるかどうか、またオプトアウト（学習利用を拒否する設定）が可能か
• AIに関する攻撃手法への対応やバイアスのモニタリングが行われているか

　そして「これらの観点は導入時だけでなく定期的に確認することが求められる」として、具体的なセキュリティ評価方法が紹介された。

国内外のガイドラインも適用：SaaSセキュリティ評価の勘所

　隠れAIリスクへの対応策として、定期的なセキュリティ評価の実施を実現すべくアシュアードが提供しているのが、クラウドサービスのセキュリティ信用評価「Assuredクラウド評価」だ。取引元企業からの依頼に基づき、SaaS/ASPなどのクラウドサービスの安全性を可視化するプラットフォームを通して、クラウドサービス事業者を対象にセキュリティ調査を実施し、評価レポートを作成・納品する仕組みとなる。植木氏はこれを「帝国データバンクのセキュリティ版といったイメージだ」と例える。

　Assuredクラウド評価にて提供される評価レポートは、100点満点の総合スコア、128項目におよぶリスク評価、専門メンバーによるサマリコメントの3要素で構成される。評価項目には「NIST SP 800-53」「ISO27001」「ISO27017」などの国際的なフレームワークをはじめ、総務省のクラウドセキュリティに関する各種ガイドライン、金融庁の「金融機関等コンピュータシステムの安全対策基準・解説書」、AI事業者ガイドラインなどといった国内のトレンドも反映されている。調査から評価まで専任のセキュリティチームが対応し、回答に矛盾や虚偽の疑いがある場合は差し戻しを行うことで、品質を担保する体制が整っている。

　植木氏は、アシュアードが最終的に目指す姿として「業界全体の最適化」を掲げる。現状は各社が利用サービスのセキュリティ評価を行うために独自のチェックリストを作成し、クラウドサービス事業者や業務委託先に個別に送付するという「個別最適」の評価が主となっている。「Assuredをプラットフォームとして、こうした評価業務を一元化することで、回答側の負荷を下げると同時に、利用企業側も統一的なリスク評価基準でサービスを評価できるようになる」とし、最後に次のように述べた。

　「AI活用が加速する中、AIに起因するリスクは複数顕在化しており、多くの企業にとって身近な問題になりつつあります。まずは自社がAIに対してどのような立場・役回りにいるのかを理解し、リスクと対策を考えるべきです。そしてそこでは、定期的な評価がカギを握るでしょう」（植木氏）