一方、MRの分野において“起爆剤”として大きく期待されているのが、マイクロソフトが提供するMRデバイス「Microsoft HoloLens」（以下、HoloLens）だ。Windows 10を搭載したウェアラブルコンピュータとして提供されるHoloLensは、ユーザーの視界上にホログラムを3Dで投影することで、現実世界のビューと仮想世界のビューをミックスさせたまさに「複合現実」の世界を提示してくれる。
現在、このHoloLensを使ったMRソリューションが次々と立ち上がりつつあるが、KPMGコンサルティング株式会社（以下、KPMGコンサルティング）が製造業企業向けに開発したサービスが「Microsoft HoloLens導入支援サービス」だ。既に大手製造業の企業と共同で、HoloLensとAIを連携させた実証実験を進めており、2018年1月にはこうした成果が認められてマイクロソフトより「Microsoft Mixed Reality Partner Program」の認定を受けている。
KPMGコンサルティングで先端技術を使った企業のビジネストランスフォーメーション（事業変革）や業務の高度化を推進するためのITソリューションの開発や支援を行っている「Advanced Innovative Technology」ビジネスユニットでは現在、AIやブロックチェーン、IoTといった先進テクノロジーと並んで、HoloLensを使ったMR関連サービスの開発や実証に積極的に取り組んでいる。「Microsoft HoloLens導入支援サービス」の中でも、製造業をターゲットにした「Holographic Manufacturing」というソリューションは、既に大手製造企業の製造現場に試験導入されているという。
このサービスの開発に携わった同社 コンサルタント 村上まり子氏によれば、MR技術は日本の製造業が抱えるさまざまな課題を解決する上で極めて有効なソリューションたりえるという。
「一見先進的なイメージがある企業でも、いざ製造現場に足を踏み入れるといまだに紙のプロセスが主流であったり、ベテラン作業員の熟練の技に頼り切っているのが実情です。しかも熟練者の職人技は暗黙知であり、ナレッジをマニュアル化して後継者に引き継ぐための仕組みも多くの場合、整備されていません。今後、ベテラン作業員が退職していってしまうと、これまで日本企業の製造現場を支えてきた熟練者の暗黙知が完全に失われてしまう恐れがあります。こうした課題を解決する上で、MR技術が役立つのではないかと考えました」
HoloLensとAIの組み合わせで製造現場の課題を解決
現在KPMGコンサルティングが、とある大手製造業のクライアントと共同で検証を進めているソリューションとは、次のようなものだ。
そのクライアント企業では、数百点にのぼる部品から構成される製品を製造しており、製造現場では多種多様な部品を正確に識別する必要がある。例えば、各部品にはあらかじめ品番などの識別可能な標識を書き込むなどの工夫を行っているが、製造工程の途中で消えて見えなくなってしまうこともある。それでも熟練作業員は、一目見ただけで各部品を正確に識別することができるが、経験の浅い作業員ではそうはいかない。
識別が難しい部品の場合、何度も紙の仕様書を見直さなくてはならないため、無駄な時間やコストが発生してしまい、さらに部品の取り違えで工程の手戻りが発生してしまうこともある。こうした無駄な時間やコストを削減するために、KPMGコンサルティングではHoloLensとAIを組み合わせて部品を自動認識する仕組みを開発した。
HoloLensを装着した作業員が、特定の部品を目の前にして部品の識別や取り付けに不安や懸念が生じた場合、HoloLensに装着されているカメラで部品を撮影する。すると、その画像データが自動的にMicrosoft Azureのクラウド環境へと送られ、画像認識AIによって自動的にどの部品なのかが識別される。その結果、その部品に関する情報が即座にHoloLensへと送り返され、ユーザーの視界上に表示される。さらに、ベテラン作業員に確認が必要な場合でもHoloLensによりビデオ会議でベテラン作業員とつながり、部品の画像を共有しながら適切なアドバイスを受けられる。
こうした仕組みを導入したことで、このクライアント企業の製造現場では部品の識別にかかる時間が短縮し、経験の浅い新人作業員でも早期に製造現場に投入できるようになった。また、ベテラン作業員の知見もより広く現場で生かせるようになったという。
「ベテラン作業員が若手をサポートするために、工場内をあちこち移動する必要がなくなり、一カ所にいながらさまざまな現場を効率良くサポートできるようになりました。また、HoloLensによりベテラン作業員の知見を得るというプロセスを通じて、暗黙知を形式知化する取り組みも進展しました」（村上氏）
HoloLensの「AIとの親和性」「開発生産性の高さ」を評価
HoloLens以外にも複数のVR、MR製品が存在する中、なぜKPMGコンサルティングはHoloLensを選んだのか。その最大の理由として、同社 ディレクターの山本直人氏は「AIとの親和性の高さ」を挙げる。
「HoloLens自体がWindows 10デバイスであるため、Visual Studioを使ってUWP（ユニバーサルWindowsプラットフォーム）アプリケーションとして開発でき、早期にプロトタイプを実装してお客様に提供できると考えました。また、Microsoft Azure上のMicrosoft Cognitive Servicesのようなクラウド型AIと簡易に連携することができ、成果を素早くお客様に提示できることも魅力です。HoloLensを含めたマイクロソフト製品群は、Windowsプラットフォームとしての一貫性がありますから、お客様のIT環境との親和性も高く、様々な検証作業が必要となる先端的な技術の導入時であっても、迅速に実装・展開できるメリットがあります」
なお、当初はMR以外にもVR型の製品の導入も検討したものの、「VRでは没入感が強すぎて酔ってしまい、製造現場で長期間装着するには向かない」との判断に至ったという。また、HoloLensの視界上に表示するメニューやウィンドウなどのホログラムを3D表示させるために、Visual StudioとUnityを連携させて開発を行ったが、「お客様の課題、要件によっては必ずしも3Dである必要はない。要件によってはUWPアプリケーションとして開発することも可能であり、その場合はWindowsアプリケーションの開発手法をそのまま活用することができます」（山本氏）という。
なお、HoloLensの背後で動作するAIの技術は、もともとKPMGコンサルティングが得意とする領域だが、こちらに関しても短期間で実装できるよう、さまざまな工夫を凝らしているという。同社 マネジャー ヒョン バロ氏によれば、特にAIの学習プロセスにあたってはユニークな手法を取り入れているという。
「従来であれば部品の写真を製造現場で撮影し、それを使ってAIに学習させるのですが、部品の数が膨大なため多くの手間や時間がかかってしまいます。そこで今回は、部品の設計工程で作成された3D CADのデータを基にAIの学習を行いました。こうした方法を採ったことで、従来に比べ短い期間でAIの学習を済ませることができました」
「HoloLens＋AI」のさらなる可能性を模索
HoloLensのMRデバイス・ウェアラブルデバイスとしての特質と、もともとKPMGコンサルティングが得意とするAIを組み合わせることで、ここで挙げた製造業での事例以外にもさまざまな現場での活用の検討が進められているという。
- 発電プラントのメンテナンス業務における活用
- 商品デモンストレーションを行う営業現場での活用
- 経営会議などの会議ソリューションとしての活用
もちろん、今回紹介したHolographic Manufacturingも、今後さらに機能や使い勝手をブラッシュアップしていく予定だという。
「HoloLensは静止画以外にも動画や音声なども取得できますから、例えば現場で行われている作業を動画で撮影しAIで分析を行うことで、さらに製造業のお客様に高い価値を提供できるサービスやソリューションが可能になると考えています」（村上氏）
同社では現在、製造企業のビジネス全体に貢献する経営コンサルティングや、製造プロセス変革のためのコンサルティングサービスを提供しているが、HoloLensとAIを組み合わせたソリューションはそれらの中で極めて重要な位置を占めることになるだろうと山本氏は予測する。
「現在、製造業は100年に一度の変革期に直面していると言われており、ますます速まる市場の変化スピードに追随することが求められています。そんな中、HoloLensとAIの組み合わせを使って、製造現場で今起きていることを素早く分析し、無駄やミスをいち早く取り除くことができれば、生産効率を大幅に上げられるでしょう。こうしたソリューションを通じて今後、製造業のお客様のビジネス全体を変革させていくためのお手伝いができればと考えています」
