一言でいうと

1件の処理を始めてから結果が得られるまでにかかる時間。

より具体的には

画像推論では、1枚の画像を入力してから推論結果が返るまでの時間などをミリ秒で表す。前処理、モデルの推論、後処理、画面描画のどこまでを含めるかによって値が変わるため、比較時は測定区間をそろえる必要がある。

複数回の測定では、中央値を表すp50や、95%の測定値が収まる境界を表すp95が使われる。PCの推論だけを測ったレイテンシから、スマートフォンアプリ全体のfpsを直接決めることはできない。

関連記事での使用例

YOLO26のモデル規模・入力解像度による性能差を比較した

Windows PCのONNX Runtimeでモデルの推論区間を100回測り、p50とp95をモデル規模・入力解像度ごとに比較した。

YOLO26n・sのFP32とstatic INT8を比較した

初回aggregateとは別に各条件を5回ずつ新しいプロセスとORT sessionで測り、INT8とFP32の推論p50の範囲が重なるかを確認している。

関連