一言でいうと

ONNX形式のAIモデルをPCやスマートフォンで実行するためのソフトウェア。

より具体的には

ONNXモデルを読み込み、入力データを渡して推論結果を受け取る機能を提供する。Windows、Linux、Androidなど複数の環境に対応している。

実際に使える演算や速さは、モデル、端末、OS、ONNX Runtimeのversion、利用するCPUやGPUの経路によって変わる。PCで動いたモデルがスマートフォンでも同じ速度で動くとは限らない。

関連記事での使用例

スマートフォン向け物体検出モデルをPCで比較し、実機検証候補を決めた

ONNX RuntimeのPC向けCPU実行を使い、変換後のモデルが動くこと、変換前と結果が一致すること、推論時間を確認している。

関連