Google、オンデバイス向けの ML モデルの構築、カスタマイズ、最適化のための LiteRT Tensor API を発表

Google は、開発者がデバイス上で実行する機械学習モデルを直接構築、カスタマイズ、最適化できる軽量の C++ API である LiteRT Tensor API を導入しました。 Google によれば、ネイティブモデルオーサリングの柔軟性とクロスプラットフォームの移植性が組み合わされているとのことです。

Google によると、従来のアプローチは、開発者が最大限の制御を行うために C++ で計算を手動で記述することであり、これには重大な欠点があります。

実装は特定のバックエンド (Metal、OpenCL、Vulkan など) に密接に結合されているため、新しいハードウェアターゲットごとに書き直す必要があります。さらに、前処理、推論、後処理を統合しながら、CPU、GPU、NPU 全体でのゼロコピーバッファーの相互運用性と同期を管理するには、手作業によるエンジニアリングの多大な労力が必要です。

LiteRT Tensor API は、開発者が C++ で演算ごとに計算グラフを構築できるようにすることで、これらの課題に対処することを目的としています。これにより、モデルアーキテクチャ、最適化、アクセラレータの実行に対する制御が強化されるとともに、新しいターゲットごとに書き直すことなく、同じグラフを CPU、GPU、および NPU ハードウェア上で LiteRT を通じて実行できるようになりました。

モデルグラフに対する完全な制御を提供するだけでなく、API のその他の重要な機能には、重みの直接取り込みが含まれており、開発者は顔ハグなどのチェックポイントから重みを直接読み込むことができます。 .safetensors ファイル。ゼロコピーバッファーの相互運用性。これにより、前処理、推論、後処理にわたるアクセラレータバッファーのコピーが回避されます。 AI コーディングエージェントとの互換性。C++ コードを生成することでモデルグラフを構築、変更、検証、ベンチマークすることができます。

Google は、コーディングエージェントを使用して、マルチオブジェクトのセグメンテーションと追跡に LiteRT Tensor API を使用する方法を示す実際のアプリを作成しました。このアプリケーションは、プラットフォーム間のパフォーマンスのベンチマークの基礎としても機能しました。

SAM 2 モデルの同じ C++ コードを、macOS ラップトップ (Metal)、iOS スマートフォン (Metal)、Android スマートフォン (OpenCL) の 3 つのデバイスの GPU で実行しました。 MacBook Pro でのテストでは、Apple MLX (fp16、イメージエンコーダーとマスクデコーダー) よりも約 1.5 倍高速に実行されました。

Google は、モデルグラフがプレーンな C++ で定義されているため、コーディングエージェントが多くの最適化を行うことができるという事実を強調しました。具体的には、「オブジェクトがまだ表示されているかどうかなど、SAM 2 のフレームごとの決定を CPU コードからグラフに移動」し、GPU 互換の演算を使用して WebGPU で CPU フォールバックをトリガーする操作を書き直しました。

LinkedIn での発表についてコメントし、Arm AI 担当ディレクターのローレンス・モロニー氏は、開発者は常にモデル変換から開始し、「グラフレベルの制御が必要な場合、または前処理と後処理をアクセラレータ上で維持したい場合」にのみ C++ API に目を向けるべきであると強調しました。彼はまた、プレーンな C++ でモデルグラフを定義する利点についても強調しました。