NVIDIAは、自動運転車（AV）やロボットなどのフィジカルAIシステムの開発を促進するために構築された生成世界基盤モデル「NVIDIA Cosmos」を発表した。
フィジカルAIモデルの開発にはコストがかかり、膨大な量の実世界のデータとテストが必要だという。Cosmos世界基盤モデル（WFM）は、開発者が既存のモデルをトレーニングおよび評価するための、大量のフォトリアルな物理ベースの合成データを簡単に生成する方法を提供するとしている。開発者は、Cosmos WFMをファインチューニングしてカスタムモデルを構築することも可能だという。
Cosmosモデルは、ロボティクスおよびAVコミュニティの作業を加速するために、オープンモデルライセンスの下で提供されるとのことだ。開発者は、NVIDIA API カタログで最初のモデルをプレビューするか、NVIDIA NGC カタログまたは Hugging Faceから一連のモデルとファインチューニングフレームワークをダウンロードできるとしている。
Cosmosを最初に採用する企業には、1X、Agile Robots、Agility、Figure AI、Foretellix、Fourier、Galbot、Hillbot、IntBot、Neura Robotics、Skild AI、Virtual Incision、Waabi、XPENGなどの大手ロボティクスおよび自動車会社のほか、ライドシェアリング大手のUberが含まれるとのことだ。
NVIDIAの創業者/CEOであるジェンスン・フアン（Jensen Huang）氏は次のように述べている。
「ロボティクスにChatGPTの時代が到来しつつあります。大規模言語モデルと同様に、世界基盤モデルはロボットおよびAV開発の進歩に不可欠ですが、すべての開発者が独自のモデルをトレーニングするための専門知識とリソースを持っているわけではありません。NVIDIAは、フィジカルAIを民主化し、一般的なロボティクスをすべての開発者が利用できるようにするためにCosmosを作成しました」
オープンな世界基盤モデルでAIの次の波を加速
NVIDIA Cosmosのオープンモデルスイートでは、開発者が対象アプリケーションのニーズに応じて、走行するAVや倉庫内を移動するロボットの録画映像などのデータセットを使用し、WFMをカスタマイズできるという。
Cosmos WFMは、フィジカルAIの研究開発専用に構築されており、テキスト、画像、ビデオなどの入力とロボット センサーまたはモーションデータの組み合わせから物理ベースのビデオを生成可能。モデルは、物理ベースのインタラクション、オブジェクトの永続性、倉庫や工場などのシミュレートされた産業環境や様々な道路状況を含む運転環境の高品質な生成を目的として構築されているとのことだ。
フィジカルAI開発者によるCosmosモデルの使用例としては、以下が紹介されている。
- ビデオ検索と理解：開発者は、雪道の状況や倉庫の混雑などといったビデオデータから特定のトレーニングシナリオを簡単に見つけることが可能に
- 物理ベースのフォトリアルな合成データ生成：Cosmosモデルを使用し、NVIDIA Omniverse プラットフォームで開発された制御された3Dシナリオからフォトリアルなビデオを生成可能
- フィジカルAIモデルの開発と評価：基盤モデル上にカスタムモデルを構築したり、強化学習のためにCosmosを使用してモデルを改善したり、または特定のシミュレーションシナリオでのパフォーマンスをテストする場合などに活用できる
- 先見性と「マルチバース」シミュレーション：CosmosとOmniverseを使用して、AIモデルが取る可能性のあるすべての将来の結果を生成し、最善かつ最も正確なパスを選択可能に
高度な世界モデル開発ツール
フィジカルAIモデルを構築するには、ペタバイト単位のビデオデータと、そのデータの処理、キュレーション、ラベル付けに数万時間の計算時間が必要だという。データのキュレーション、トレーニング、モデルのカスタマイズにかかる膨大なコストを節約するために、Cosmosには次の機能が含まれるとのことだ。
- NVIDIA NeMo Curatorを搭載したNVIDIA AIおよびCUDA アクセラレーテッド データ処理パイプライン：開発者は、CPUのみのパイプラインを使用した場合に3年以上かかる2,000万時間分のビデオの処理、キュレーション、ラベル付けを、NVIDIA Blackwellプラットフォームを使用して14日間で行えるようになる
- NVIDIA Cosmos Tokenizer：画像やビデオをトークンに変換するビジュアルトークナイザー。今日の主要なトークナイザーよりも8倍の総圧縮率と12倍の処理速度を実現
- NVIDIA NeMo：効率的なモデルのトレーニング、カスタマイズ、最適化のためのフレームワーク
Cosmos WFMは、Hugging FaceおよびNVIDIA NGC カタログで、NVIDIAのオープンモデルライセンスに基づいて現在提供されているとのことだ。まもなく、完全に最適化されたNVIDIA NIMマイクロサービスとして提供される予定だという。
【関連記事】
・Ansys、NVIDIAのAIを半導体シミュレーション製品に統合 設計最適化を向上するAI機能を提供
・NVIDIAとServiceNow、セキュリティ分野におけるAIエージェントを共同開発 25年提供へ
・テラデータとNVIDIAが協業、「NVIDIA NeMo」などを「T Vantage」に統合へ
