今までの記事ではレイクハウスアーキテクチャ、そしてそれを構成するストレージレイヤーについて論じてきた。 本稿では、レイクハウスにおける代表的なユースケースの1つであるデータサイエンス／機械学習（ML：Machine Learning）に焦点を当てて、最近バズワードとして定着しつつある「MLOps」について解説する。
ML技術の民主化：MLが当たり前の世界へ
2000年代からはじまった第三次AIブームは現在まで続き、多くの企業で機械学習の導入は「当たり前」になってきている。初期の導入企業は必要なリソースを用意できる少数の大手テクノロジー企業のみだったが、現在ではコモディティ化が進み、機械学習を活用したビジネスケースがあらゆる業界で見られるようになった。
MIT Sloan Management Reviewによると、83%のCEOが人工知能（AI）を戦略的な優先事項としてあげており、ガートナー社は、2022年に3.9兆ドルのビジネス価値がAIによって創出されると推定している。
このように「ML技術の民主化」が進むことは同時に、ただ単にワンショットで導入しただけでは競争優位性を保てなくなることを意味している。つまり、機械学習をプロダクトへ効果的に組み込み、持続的に競争優位性を高めていくための「ループ」を構築することが今後ますます重要になっていく。
MLプロジェクトの課題：プロダクション化への壁
ML技術の民主化が進んでいるとはいえ、POCからMLプロダクション化の壁は依然として高いままである。その理由としては大きく2つの原因が挙げられる。
- PoC時の機械学習モデルの精度が期待する値に達することができず、実運用で採用することができない
- 通常のシステム開発との違いを意識せずにプロダクション化しようとすることで、PoCで作ったモデルのデリバリーに失敗する
これらの課題は、機械学習のライフサイクルがデータの取り込み、データの準備、モデルのトレーニング、モデルのチューニング、モデルのデプロイ、モデルのモニタリングなど、多くのコンポーネントを組み合わせて構成されていることに起因している。これらすべてのプロセスを同期させ、シームレスに連動させるためには、運用の効率化が不可欠だ。
そこで次章以降では、この課題を解決するために生まれた「MLOps」という考え方について説明する。
この記事は参考になりましたか？
- Databricksと見る、データ×AIの世界連載記事一覧
-
- 「非構造化データ」の活用が進まない2つの理由──企業に眠る、膨大な“金脈”を活かす糸口を探...
- 「MLOps」の考え方とは？──機械学習が“当たり前”の時代になる前に知っておきたいこと
- ビックデータ処理の「高速化」と「信頼性」を支える、数々のオープンソース技術はどう生まれたの...
- この記事の著者
-
北岡 早紀（キタオカ サキ）
早稲田大学大学院を修了後、アクセンチュア株式会社デジタル部門に入社。通信、メディアなどの業界においてビッグデータ分析基盤や機械学習パイプラインの構築・運用、位置情報データ分析に従事。現在はデータブリックス株式会社にてソリューションエンジニアとして参画。主にDNBのお客様にレイクハウスプラットフォーム...
※プロフィールは、執筆時点、または直近の記事の寄稿時点での内容です
この記事は参考になりましたか？
この記事をシェア
