JeVois  1.22
JeVois Smart Embedded Machine Vision Toolkit
Share this page:
Loading...
Searching...
No Matches
JeVois-Pro Deep Neural Network Benchmarks

JeVois-Pro neural network backends

The measurements below were made on a JeVois-Pro smart camera running JeVois v1.22.0 (October 2024).

  • OpenCV: network loaded by OpenCV DNN framework and running on CPU.
  • ORT: network loaded by ONNX Runtime framework and running on CPU.
  • NPU: network running native on the JeVois-Pro integrated 5-TOPS NPU (neural processing unit).
  • TPU: network running on the optional 4-TOPS Google Coral TPU accelerator (tensor processing unit).
  • SPU: network running on the optional 26-TOPS Hailo8 SPU accelerator (stream processing unit).
  • VPU: network running on the optional 1-TOPS MyriadX VPU accelerator (vector processing unit).
  • NPUX: network loaded by OpenCV and running on NPU via the TIM-VX OpenCV extension. To run efficiently, network should have been quantized to int8, otherwise some slow CPU-based emulation will occur.
  • VPUX: network optimized for VPU but running on CPU if VPU is not available. Note that VPUX entries are automatically created by scanning all VPU entries and changing their target from Myriad to CPU, if a VPU accelerator is not detected. If a VPU is detected, then VPU models are listed and VPUX ones are not. VPUX emulation runs on the JeVois-Pro CPU using the Arm Compute Library to provide efficient implementation of various network layers and operations.

Benchmarking conditions

  • Display was on and 1920x1080/60Hz. Operation is a bit slower if you enable 4K display, likely because of higher contension on the memory bus.
  • The DNN module was used, with 1920x1080 YUYV video capture for display purposes, and 1024x576 RGB24 capture for vision processing.
  • Batch size is always 1, i.e., we measure the round-trip time to pre-process, infer, and post-process one frame at a time. Higher performance is usually achieved with larger batch size, but this is not a real-time scenario (would lead to larger delays between when a video frame is captured and when the inference results are available and displayed).
  • These benchmarks are for JeVois-Pro only and not meant to be representative of a particular accelerator's peak performance. In particular:
    • The Myriad-X VPU used was a USB dongle connected to JeVois-Pro over a 480 Mbit/s USB 2.0 link. The dongle supports 5 GBit/s USB 3.0 but the JeVois-Pro CPU has no available USB 3.0 port.
    • The NPU is integrated into the Amlogic A311D processor of JeVois-Pro and hence has the highest memory bandwidth (direct memory access to the main RAM of the processor), and highest available memory (up to 4 GBytes of main RAM).
    • Coral Edge TPU and Hailo-8 SPU were M.2 2230 A+E cards optionally installed inside JeVois-Pro. Data transfer is over PCIe at 5 GBits/s. Note that Hailo-8 can support up to PCIe x4 but the A311D processor of JeVois-Pro only has one PCIe x1 lane. Note also that Hailo-8 can support larger PCIe transaction packets (up to 4 Kbytes) than the A311D can provide (only up to 256 bytes).
    • Coral Edge TPU has only about 6.5 MBytes of usable RAM on chip. Thus, for larger networks, performance is slower as some of the weights may need to constantly be loaded/unloaded over PCIe on every video frame. See, e.g., 45 fps for Inception-V3 on 5-TOPS NPU vs. only 21 fps on 4-TOPS TPU, as model size is about 25 MBytes.
    • You can only install one M.2 2230 A+E card inside JeVois-Pro, so you have to choose between a Hailo-8 card, or a single-TPU card, or a dual-TPU card (only dual-TPU cards made by JeVois will work; the dual-TPU card made by Google requires a PCIe x2 link while JeVois-Pro only has PCIe x1).
    • The PreProc time includes resizing the input video (1024x576 RGB24) to the network's input size, and possibly swapping RGB/BGR order, NCHW/NHWC order, mean subtraction, normalization by scale factor and/or stdev, and quantization to the network's desired data type.
    • The Network inference time includes data transfer from main memory to device, on-chip inference, data transfer of outputs back to main memory, possibly dequantization to float32, and possible output transforms (split/merge/re-order/transpose output tensors). Dequantization and any output transforms can add significant time which would often be counted as post-processing in other benchmarks. When running NPU networks, you can see the detailed timing for each step.
    • The PostProc time includes decoding of network outputs (e.g., decoding YOLO boxes from raw YOLO layer outputs), and drawing results using OpenGL.
  • For more reliable results, we run the benchmark in Sync processing mode (sequential PreProc, Network, and PostProc). This is what you should also do for pipelines that run at more than 30 fps. For slower pipelines, however, the lower inference rate would also slow down the JeVois-Pro GUI. For this reason, the default mode that ships with the camera is ASync (network inference runs in the background while the GUI can still refresh at 30 fps). You can change processing mode using the processing parameter of the Pipeline component.

Benchmark results

PipelineInputOutputPreProcNetworkPostProcTotal

FPS

NPU:Classify:MobileNetV1-uint8 4D 1x224x224x3 8U2D 1x1001 32F1.2 +/- 0.0 ms5.3 +/- 0.0 ms128.7 +/- 5.8 us6.6 +/- 0.0 ms150.8 fps
NPU:Classify:MobileNet-V1 4D 1x224x224x3 8S2D 1x1001 32F790.1 +/- 27.5 us7.5 +/- 0.0 ms128.8 +/- 6.6 us8.5 +/- 0.0 ms118.3 fps
NPU:Classify:MobileNet-V2 4D 1x3x224x224 8U4D 1x1000x1x1 32F1.3 +/- 0.1 ms6.2 +/- 0.0 ms128.3 +/- 9.2 us7.6 +/- 0.1 ms132.2 fps
NPU:Classify:ResNet18-uint8 4D 1x3x224x224 8U2D 1x1000 32F1.3 +/- 0.1 ms6.2 +/- 0.0 ms135.8 +/- 13.9 us7.7 +/- 0.1 ms130.4 fps
NPU:Classify:Inception-V3 4D 1x299x299x3 8U2D 1x1001 32F2.0 +/- 0.1 ms21.0 +/- 0.0 ms127.6 +/- 9.6 us23.2 +/- 0.1 ms43.2 fps
NPU:Classify:Xception 4D 1x299x299x3 8U2D 1x1000 32F3.6 +/- 1.8 ms57.2 +/- 1.3 ms178.4 +/- 450.6 us61.0 +/- 1.9 ms16.4 fps
NPU:Detect:yolo11n-512x288 4D 1x3x288x512 8U4D 1x64x36x64 32F, 4D 1x80x36x64 32F, 4D 1x64x18x32 32F, 4D 1x80x18x32 32F, 4D 1x64x9x16 32F, 4D 1x80x9x16 32F3.0 +/- 4.0 ms13.6 +/- 0.3 ms5.2 +/- 1.1 ms21.8 +/- 3.8 ms45.9 fps
NPU:Detect:yolov10n-512x288 4D 1x3x288x512 8U4D 1x64x36x64 32F, 4D 1x80x36x64 32F, 4D 1x64x18x32 32F, 4D 1x80x18x32 32F, 4D 1x64x9x16 32F, 4D 1x80x9x16 32F4.1 +/- 5.1 ms13.5 +/- 0.6 ms5.0 +/- 1.3 ms22.5 +/- 5.2 ms44.4 fps
NPU:Detect:yolov9t-512x288 4D 1x3x288x512 8U4D 1x64x36x64 32F, 4D 1x80x36x64 32F, 4D 1x64x18x32 32F, 4D 1x80x18x32 32F, 4D 1x64x9x16 32F, 4D 1x80x9x16 32F2.6 +/- 3.2 ms10.2 +/- 0.4 ms5.4 +/- 0.6 ms18.3 +/- 3.2 ms54.6 fps
NPU:Detect:yolov8n-512x288 4D 1x3x288x512 8U4D 1x64x36x64 32F, 4D 1x80x36x64 32F, 4D 1x64x18x32 32F, 4D 1x80x18x32 32F, 4D 1x64x9x16 32F, 4D 1x80x9x16 32F4.0 +/- 5.0 ms9.7 +/- 0.3 ms5.4 +/- 1.1 ms19.1 +/- 4.4 ms52.5 fps
NPU:Detect:yolo11s-512x288 4D 1x3x288x512 8U4D 1x64x36x64 32F, 4D 1x80x36x64 32F, 4D 1x64x18x32 32F, 4D 1x80x18x32 32F, 4D 1x64x9x16 32F, 4D 1x80x9x16 32F3.4 +/- 3.3 ms27.7 +/- 1.4 ms5.6 +/- 1.7 ms36.7 +/- 3.4 ms27.3 fps
NPU:Detect:yolov10s-512x288 4D 1x3x288x512 8U4D 1x64x36x64 32F, 4D 1x80x36x64 32F, 4D 1x64x18x32 32F, 4D 1x80x18x32 32F, 4D 1x64x9x16 32F, 4D 1x80x9x16 32F4.5 +/- 4.9 ms27.1 +/- 0.5 ms5.0 +/- 1.2 ms36.7 +/- 4.5 ms27.3 fps
NPU:Detect:yolov9s-512x288 4D 1x3x288x512 8U4D 1x64x36x64 32F, 4D 1x80x36x64 32F, 4D 1x64x18x32 32F, 4D 1x80x18x32 32F, 4D 1x64x9x16 32F, 4D 1x80x9x16 32F3.8 +/- 4.2 ms19.0 +/- 1.0 ms5.1 +/- 1.9 ms27.9 +/- 3.6 ms35.8 fps
NPU:Detect:yolov8s-512x288 4D 1x3x288x512 8U4D 1x64x36x64 32F, 4D 1x80x36x64 32F, 4D 1x64x18x32 32F, 4D 1x80x18x32 32F, 4D 1x64x9x16 32F, 4D 1x80x9x16 32F3.9 +/- 3.7 ms19.5 +/- 1.0 ms5.6 +/- 1.9 ms29.0 +/- 3.3 ms34.5 fps
NPU:Detect:yolo11m-512x288 4D 1x3x288x512 8U4D 1x64x36x64 32F, 4D 1x80x36x64 32F, 4D 1x64x18x32 32F, 4D 1x80x18x32 32F, 4D 1x64x9x16 32F, 4D 1x80x9x16 32F3.9 +/- 4.4 ms50.7 +/- 0.9 ms5.7 +/- 1.7 ms60.3 +/- 4.3 ms16.6 fps
NPU:Detect:yolov10m-512x288 4D 1x3x288x512 8U4D 1x64x36x64 32F, 4D 1x80x36x64 32F, 4D 1x64x18x32 32F, 4D 1x80x18x32 32F, 4D 1x64x9x16 32F, 4D 1x80x9x16 32F4.4 +/- 4.7 ms46.2 +/- 1.0 ms5.3 +/- 1.3 ms56.0 +/- 4.6 ms17.9 fps
NPU:Detect:yolov9m-512x288 4D 1x3x288x512 8U4D 1x64x36x64 32F, 4D 1x80x36x64 32F, 4D 1x64x18x32 32F, 4D 1x80x18x32 32F, 4D 1x64x9x16 32F, 4D 1x80x9x16 32F3.7 +/- 3.4 ms60.2 +/- 0.8 ms5.5 +/- 1.1 ms69.5 +/- 3.3 ms14.4 fps
NPU:Detect:yolov8m-512x288 4D 1x3x288x512 8U4D 1x64x36x64 32F, 4D 1x80x36x64 32F, 4D 1x64x18x32 32F, 4D 1x80x18x32 32F, 4D 1x64x9x16 32F, 4D 1x80x9x16 32F4.7 +/- 4.7 ms36.9 +/- 1.8 ms5.1 +/- 1.1 ms46.7 +/- 4.9 ms21.4 fps
NPU:Detect:yolo11n-1024x576 4D 1x3x576x1024 8U4D 1x64x72x128 32F, 4D 1x80x72x128 32F, 4D 1x64x36x64 32F, 4D 1x80x36x64 32F, 4D 1x64x18x32 32F, 4D 1x80x18x32 32F1.0 +/- 0.2 ms96.5 +/- 1.6 ms20.9 +/- 9.6 ms118.4 +/- 10.0 ms8.4 fps
NPU:Detect:yolov10n-1024x576 4D 1x3x576x1024 8U4D 1x64x72x128 32F, 4D 1x80x72x128 32F, 4D 1x64x36x64 32F, 4D 1x80x36x64 32F, 4D 1x64x18x32 32F, 4D 1x80x18x32 32F1.0 +/- 0.1 ms95.8 +/- 1.9 ms22.1 +/- 7.2 ms118.9 +/- 7.8 ms8.4 fps
NPU:Detect:yolov9t-1024x576 4D 1x3x576x1024 8U4D 1x64x72x128 32F, 4D 1x80x72x128 32F, 4D 1x64x36x64 32F, 4D 1x80x36x64 32F, 4D 1x64x18x32 32F, 4D 1x80x18x32 32F1.1 +/- 0.3 ms37.6 +/- 1.4 ms21.1 +/- 10.2 ms59.8 +/- 10.2 ms16.7 fps
NPU:Detect:yolov8n-1024x576 4D 1x3x576x1024 8U4D 1x64x72x128 32F, 4D 1x80x72x128 32F, 4D 1x64x36x64 32F, 4D 1x80x36x64 32F, 4D 1x64x18x32 32F, 4D 1x80x18x32 32F1.0 +/- 0.2 ms35.6 +/- 0.9 ms22.5 +/- 8.5 ms59.2 +/- 8.5 ms16.9 fps
NPU:Detect:yolo11s-1024x576 4D 1x3x576x1024 8U4D 1x64x72x128 32F, 4D 1x80x72x128 32F, 4D 1x64x36x64 32F, 4D 1x80x36x64 32F, 4D 1x64x18x32 32F, 4D 1x80x18x32 32F1.0 +/- 0.3 ms193.3 +/- 0.7 ms22.0 +/- 7.0 ms216.3 +/- 6.8 ms4.6 fps
NPU:Detect:yolov10s-1024x576 4D 1x3x576x1024 8U4D 1x64x72x128 32F, 4D 1x80x72x128 32F, 4D 1x64x36x64 32F, 4D 1x80x36x64 32F, 4D 1x64x18x32 32F, 4D 1x80x18x32 32F1.1 +/- 0.3 ms193.7 +/- 1.7 ms20.6 +/- 8.0 ms215.3 +/- 8.3 ms4.6 fps
NPU:Detect:yolov9s-1024x576 4D 1x3x576x1024 8U4D 1x64x72x128 32F, 4D 1x80x72x128 32F, 4D 1x64x36x64 32F, 4D 1x80x36x64 32F, 4D 1x64x18x32 32F, 4D 1x80x18x32 32F1.1 +/- 0.5 ms72.0 +/- 0.8 ms24.0 +/- 5.7 ms97.1 +/- 5.4 ms10.3 fps
NPU:Detect:yolov8s-1024x576 4D 1x3x576x1024 8U4D 1x64x72x128 32F, 4D 1x80x72x128 32F, 4D 1x64x36x64 32F, 4D 1x80x36x64 32F, 4D 1x64x18x32 32F, 4D 1x80x18x32 32F1.0 +/- 0.1 ms72.9 +/- 1.7 ms24.3 +/- 4.4 ms98.2 +/- 4.9 ms10.2 fps
NPU:Detect:yolo11m-1024x576 4D 1x3x576x1024 8U4D 1x64x72x128 32F, 4D 1x80x72x128 32F, 4D 1x64x36x64 32F, 4D 1x80x36x64 32F, 4D 1x64x18x32 32F, 4D 1x80x18x32 32F1.4 +/- 0.7 ms298.3 +/- 1.7 ms19.4 +/- 12.2 ms319.2 +/- 12.3 ms3.1 fps
NPU:Detect:yolov10m-1024x576 4D 1x3x576x1024 8U4D 1x64x72x128 32F, 4D 1x80x72x128 32F, 4D 1x64x36x64 32F, 4D 1x80x36x64 32F, 4D 1x64x18x32 32F, 4D 1x80x18x32 32F1.3 +/- 0.6 ms293.6 +/- 1.9 ms19.2 +/- 9.0 ms314.2 +/- 9.5 ms3.2 fps
NPU:Detect:yolov9m-1024x576 4D 1x3x576x1024 8U4D 1x64x72x128 32F, 4D 1x80x72x128 32F, 4D 1x64x36x64 32F, 4D 1x80x36x64 32F, 4D 1x64x18x32 32F, 4D 1x80x18x32 32F1.0 +/- 0.2 ms237.7 +/- 2.6 ms21.7 +/- 9.1 ms260.5 +/- 9.2 ms3.8 fps
NPU:Detect:yolov8m-1024x576 4D 1x3x576x1024 8U4D 1x64x72x128 32F, 4D 1x80x72x128 32F, 4D 1x64x36x64 32F, 4D 1x80x36x64 32F, 4D 1x64x18x32 32F, 4D 1x80x18x32 32F1.1 +/- 0.4 ms145.9 +/- 1.0 ms30.6 +/- 5.8 ms177.6 +/- 5.6 ms5.6 fps
NPU:Detect:yolov8n-ksnn 4D 1x3x640x640 8U4D 1x64x80x80 32F, 4D 1x80x80x80 32F, 4D 1x64x40x40 32F, 4D 1x80x40x40 32F, 4D 1x64x20x20 32F, 4D 1x80x20x20 32F3.5 +/- 1.3 ms29.7 +/- 1.5 ms13.8 +/- 3.9 ms46.9 +/- 4.8 ms21.3 fps
NPU:Detect:yolov9-n-wholebody17-1024x576 4D 1x3x576x1024 8U4D 1x64x72x128 32F, 4D 1x17x72x128 32F, 4D 1x64x36x64 32F, 4D 1x17x36x64 32F, 4D 1x64x18x32 32F, 4D 1x17x18x32 32F1.9 +/- 0.5 ms23.1 +/- 1.9 ms4.4 +/- 0.3 ms29.4 +/- 2.0 ms34.1 fps
NPU:Detect:yolov9-n-wholebody15-1024x576 4D 1x3x576x1024 8U4D 1x64x72x128 32F, 4D 1x15x72x128 32F, 4D 1x64x36x64 32F, 4D 1x15x36x64 32F, 4D 1x64x18x32 32F, 4D 1x15x18x32 32F2.0 +/- 0.6 ms23.7 +/- 2.0 ms4.0 +/- 0.9 ms29.8 +/- 2.2 ms33.6 fps
NPU:Detect:yolov9-n-wholebody13-1024x576 4D 1x3x576x1024 8U4D 1x64x72x128 32F, 4D 1x13x72x128 32F, 4D 1x64x36x64 32F, 4D 1x13x36x64 32F, 4D 1x64x18x32 32F, 4D 1x13x18x32 32F1.8 +/- 0.5 ms23.6 +/- 1.2 ms3.6 +/- 0.8 ms29.1 +/- 1.3 ms34.4 fps
NPU:Detect:yolov9-n-gender-1024x576 4D 1x3x576x1024 8U4D 1x64x72x128 32F, 4D 1x3x72x128 32F, 4D 1x64x36x64 32F, 4D 1x3x36x64 32F, 4D 1x64x18x32 32F, 4D 1x3x18x32 32F1.4 +/- 0.2 ms22.5 +/- 0.2 ms549.0 +/- 33.0 us24.5 +/- 0.3 ms40.9 fps
NPU:Detect:yolov9n-headpose-1024x576 4D 1x3x576x1024 8U4D 1x64x72x128 32F, 4D 1x9x72x128 32F, 4D 1x64x36x64 32F, 4D 1x9x36x64 32F, 4D 1x64x18x32 32F, 4D 1x9x18x32 32F1.8 +/- 0.4 ms23.7 +/- 1.5 ms2.9 +/- 1.1 ms28.4 +/- 1.6 ms35.3 fps
NPU:Detect:yolov9s-headpose-1024x576 4D 1x3x576x1024 8U4D 1x64x72x128 32F, 4D 1x9x72x128 32F, 4D 1x64x36x64 32F, 4D 1x9x36x64 32F, 4D 1x64x18x32 32F, 4D 1x9x18x32 32F2.3 +/- 1.2 ms70.7 +/- 0.7 ms2.3 +/- 0.7 ms75.3 +/- 1.4 ms13.3 fps
NPU:Detect:yolov9s-headpose-480x288 4D 1x3x288x480 8U4D 1x64x36x60 32F, 4D 1x9x36x60 32F, 4D 1x64x18x30 32F, 4D 1x9x18x30 32F, 4D 1x64x9x15 32F, 4D 1x9x9x15 32F2.8 +/- 3.3 ms20.4 +/- 1.1 ms467.6 +/- 145.2 us23.6 +/- 3.8 ms42.3 fps
NPU:Detect:yolov7-tiny-NPU 4D 1x3x288x512 8U4D 1x255x36x64 32F, 4D 1x255x18x32 32F, 4D 1x255x9x16 32F5.3 +/- 5.0 ms12.9 +/- 1.8 ms309.6 +/- 42.9 us18.5 +/- 5.2 ms54.1 fps
NPU:Detect:YoloV7-Tiny-AA 4D 1x3x416x416 8U4D 1x255x52x52 32F, 4D 1x255x26x26 32F, 4D 1x255x13x13 32F4.8 +/- 5.0 ms16.5 +/- 1.4 ms835.0 +/- 2791.3 us22.1 +/- 5.8 ms45.2 fps
NPU:Detect:YoloV7-Tiny-DFP 4D 1x3x416x416 8S4D 1x255x52x52 32F, 4D 1x255x26x26 32F, 4D 1x255x13x13 32F5.9 +/- 4.4 ms43.7 +/- 1.9 ms593.1 +/- 1018.7 us50.1 +/- 4.9 ms20.0 fps
NPU:Detect:yolov7-tiny-512x288 4D 1x3x288x512 8U4D 1x255x36x64 32F, 4D 1x255x18x32 32F, 4D 1x255x9x16 32F5.3 +/- 5.2 ms13.0 +/- 2.4 ms808.1 +/- 2383.9 us19.2 +/- 5.9 ms52.2 fps
NPU:Detect:yolov7-tiny-1024x576 4D 1x3x576x1024 8U4D 1x255x72x128 32F, 4D 1x255x36x64 32F, 4D 1x255x18x32 32F2.3 +/- 1.3 ms56.8 +/- 2.2 ms513.5 +/- 109.6 us59.6 +/- 2.4 ms16.8 fps
NPU:Detect:yolov7-tiny-ksnn 4D 1x3x640x640 8U4D 1x255x80x80 32F, 4D 1x255x40x40 32F, 4D 1x255x20x20 32F5.8 +/- 4.1 ms36.6 +/- 2.4 ms566.2 +/- 846.8 us43.0 +/- 4.5 ms23.3 fps
NPU:Detect:yolov4-tiny 4D 1x3x416x416 8U4D 1x255x13x13 32F, 4D 1x255x26x26 32F4.6 +/- 4.6 ms10.7 +/- 1.8 ms220.5 +/- 22.0 us15.5 +/- 4.7 ms64.5 fps
NPU:Detect:YoloV4-DFP 4D 1x3x416x416 8S4D 1x255x52x52 32F, 4D 1x255x26x26 32F, 4D 1x255x13x13 32F6.3 +/- 5.2 ms149.2 +/- 2.4 ms503.8 +/- 1216.8 us156.1 +/- 5.8 ms6.4 fps
NPU:Detect:yolov4-csp-x-swish 4D 1x3x640x640 8U4D 1x255x80x80 32F, 4D 1x255x40x40 32F, 4D 1x255x20x20 32F6.1 +/- 4.4 ms272.0 +/- 1.7 ms955.4 +/- 336.0 us279.1 +/- 5.0 ms3.6 fps
NPU:Detect:YoloV3-Tiny-DFP 4D 1x3x416x416 8S4D 1x255x13x13 32F, 4D 1x255x26x26 32F5.3 +/- 4.9 ms6.3 +/- 1.2 ms156.8 +/- 16.1 us11.7 +/- 5.1 ms85.3 fps
NPU:Detect:YoloV3-uint8 4D 1x3x416x416 8U4D 1x255x13x13 32F, 4D 1x255x26x26 32F, 4D 1x255x52x52 32F5.6 +/- 4.5 ms84.7 +/- 1.1 ms1.5 +/- 2.5 ms91.7 +/- 4.9 ms10.9 fps
NPU:Detect:yolov3-spp 4D 1x3x608x608 8U4D 1x255x19x19 32F, 4D 1x255x38x38 32F, 4D 1x255x76x76 32F6.9 +/- 5.1 ms203.3 +/- 1.8 ms824.7 +/- 1755.2 us211.0 +/- 5.6 ms4.7 fps
NPU:Detect:YoloV3-DFP 4D 1x3x416x416 8S4D 1x255x13x13 32F, 4D 1x255x26x26 32F, 4D 1x255x52x52 32F5.0 +/- 3.9 ms87.6 +/- 2.9 ms725.6 +/- 605.8 us93.4 +/- 5.0 ms10.7 fps
NPU:Detect:YoloV2-DFP 4D 1x3x416x416 8S4D 1x425x13x13 32F5.2 +/- 4.4 ms23.8 +/- 1.6 ms344.5 +/- 557.9 us29.3 +/- 4.0 ms34.1 fps
NPU:Detect:yolov2-coco 4D 1x3x416x416 8U4D 1x425x13x13 32F5.4 +/- 4.4 ms25.0 +/- 1.1 ms216.3 +/- 80.0 us30.5 +/- 4.0 ms32.7 fps
NPU:Detect:yolov2-voc 4D 1x3x416x416 8U4D 1x125x13x13 32F4.1 +/- 4.1 ms25.5 +/- 1.6 ms122.8 +/- 17.0 us29.6 +/- 3.6 ms33.7 fps
NPU:Detect:yolov3-tiny 4D 1x3x416x416 8U4D 1x255x13x13 32F, 4D 1x255x26x26 32F4.0 +/- 4.5 ms6.2 +/- 0.1 ms187.8 +/- 18.6 us10.4 +/- 4.5 ms96.3 fps
NPU:Detect:Yolo-Face-DFP 4D 1x3x416x416 8S4D 1x30x13x13 32F4.4 +/- 4.6 ms5.7 +/- 0.1 ms101.8 +/- 15.2 us10.2 +/- 4.6 ms97.7 fps
NPU:Detect:yolo11n-seg-512x288 4D 1x3x288x512 8U4D 1x64x36x64 32F, 4D 1x80x36x64 32F, 4D 1x32x36x64 32F, 4D 1x64x18x32 32F, 4D 1x80x18x32 32F, 4D 1x32x18x32 32F, 4D 1x64x9x16 32F, 4D 1x80x9x16 32F, 4D 1x32x9x16 32F, 4D 1x32x72x128 32F1.7 +/- 0.8 ms16.3 +/- 0.8 ms12.4 +/- 5.3 ms30.5 +/- 5.6 ms32.8 fps
NPU:Detect:yolov8n-seg-512x288 4D 1x3x288x512 8U4D 1x64x36x64 32F, 4D 1x80x36x64 32F, 4D 1x32x36x64 32F, 4D 1x64x18x32 32F, 4D 1x80x18x32 32F, 4D 1x32x18x32 32F, 4D 1x64x9x16 32F, 4D 1x80x9x16 32F, 4D 1x32x9x16 32F, 4D 1x32x72x128 32F1.3 +/- 0.5 ms12.1 +/- 1.1 ms13.3 +/- 5.4 ms26.7 +/- 5.6 ms37.5 fps
NPU:Detect:yolo11s-seg-512x288 4D 1x3x288x512 8U4D 1x64x36x64 32F, 4D 1x80x36x64 32F, 4D 1x32x36x64 32F, 4D 1x64x18x32 32F, 4D 1x80x18x32 32F, 4D 1x32x18x32 32F, 4D 1x64x9x16 32F, 4D 1x80x9x16 32F, 4D 1x32x9x16 32F, 4D 1x32x72x128 32F1.4 +/- 0.9 ms31.8 +/- 0.5 ms20.4 +/- 8.0 ms53.7 +/- 7.9 ms18.6 fps
NPU:Detect:yolov8s-seg-512x288 4D 1x3x288x512 8U4D 1x64x36x64 32F, 4D 1x80x36x64 32F, 4D 1x32x36x64 32F, 4D 1x64x18x32 32F, 4D 1x80x18x32 32F, 4D 1x32x18x32 32F, 4D 1x64x9x16 32F, 4D 1x80x9x16 32F, 4D 1x32x9x16 32F, 4D 1x32x72x128 32F1.1 +/- 0.5 ms23.2 +/- 0.3 ms19.9 +/- 4.5 ms44.3 +/- 4.5 ms22.6 fps
NPU:Detect:yolo11m-seg-512x288 4D 1x3x288x512 8U4D 1x64x36x64 32F, 4D 1x80x36x64 32F, 4D 1x32x36x64 32F, 4D 1x64x18x32 32F, 4D 1x80x18x32 32F, 4D 1x32x18x32 32F, 4D 1x64x9x16 32F, 4D 1x80x9x16 32F, 4D 1x32x9x16 32F, 4D 1x32x72x128 32F1.4 +/- 0.9 ms60.9 +/- 0.9 ms18.4 +/- 6.3 ms80.7 +/- 6.7 ms12.4 fps
NPU:Detect:yolov8m-seg-512x288 4D 1x3x288x512 8U4D 1x64x36x64 32F, 4D 1x80x36x64 32F, 4D 1x32x36x64 32F, 4D 1x64x18x32 32F, 4D 1x80x18x32 32F, 4D 1x32x18x32 32F, 4D 1x64x9x16 32F, 4D 1x80x9x16 32F, 4D 1x32x9x16 32F, 4D 1x32x72x128 32F1.3 +/- 0.6 ms42.7 +/- 0.6 ms19.6 +/- 6.1 ms63.6 +/- 6.2 ms15.7 fps
NPU:Detect:yolo11n-seg-1024x576 4D 1x3x576x1024 8U4D 1x64x72x128 32F, 4D 1x80x72x128 32F, 4D 1x32x72x128 32F, 4D 1x64x36x64 32F, 4D 1x80x36x64 32F, 4D 1x32x36x64 32F, 4D 1x64x18x32 32F, 4D 1x80x18x32 32F, 4D 1x32x18x32 32F, 4D 1x32x144x256 32F1.2 +/- 0.3 ms106.4 +/- 0.5 ms91.1 +/- 8.9 ms198.7 +/- 8.9 ms5.0 fps
NPU:Detect:yolov8n-seg-1024x576 4D 1x3x576x1024 8U4D 1x64x72x128 32F, 4D 1x80x72x128 32F, 4D 1x32x72x128 32F, 4D 1x64x36x64 32F, 4D 1x80x36x64 32F, 4D 1x32x36x64 32F, 4D 1x64x18x32 32F, 4D 1x80x18x32 32F, 4D 1x32x18x32 32F, 4D 1x32x144x256 32F1.3 +/- 0.4 ms45.9 +/- 0.8 ms68.7 +/- 9.0 ms115.9 +/- 9.0 ms8.6 fps
NPU:Detect:yolo11s-seg-1024x576 4D 1x3x576x1024 8U4D 1x64x72x128 32F, 4D 1x80x72x128 32F, 4D 1x32x72x128 32F, 4D 1x64x36x64 32F, 4D 1x80x36x64 32F, 4D 1x32x36x64 32F, 4D 1x64x18x32 32F, 4D 1x80x18x32 32F, 4D 1x32x18x32 32F, 4D 1x32x144x256 32F1.4 +/- 0.5 ms214.5 +/- 0.6 ms93.6 +/- 6.9 ms309.5 +/- 6.9 ms3.2 fps
NPU:Detect:yolov8s-seg-1024x576 4D 1x3x576x1024 8U4D 1x64x72x128 32F, 4D 1x80x72x128 32F, 4D 1x32x72x128 32F, 4D 1x64x36x64 32F, 4D 1x80x36x64 32F, 4D 1x32x36x64 32F, 4D 1x64x18x32 32F, 4D 1x80x18x32 32F, 4D 1x32x18x32 32F, 4D 1x32x144x256 32F1.3 +/- 0.4 ms92.4 +/- 0.8 ms96.5 +/- 10.4 ms190.2 +/- 10.5 ms5.3 fps
NPU:Detect:yolo11m-seg-1024x576 4D 1x3x576x1024 8U4D 1x64x72x128 32F, 4D 1x80x72x128 32F, 4D 1x32x72x128 32F, 4D 1x64x36x64 32F, 4D 1x80x36x64 32F, 4D 1x32x36x64 32F, 4D 1x64x18x32 32F, 4D 1x80x18x32 32F, 4D 1x32x18x32 32F, 4D 1x32x144x256 32F2.4 +/- 0.4 ms357.1 +/- 0.6 ms104.8 +/- 7.9 ms464.4 +/- 8.0 ms2.2 fps
NPU:Detect:yolov8m-seg-1024x576 4D 1x3x576x1024 8U4D 1x64x72x128 32F, 4D 1x80x72x128 32F, 4D 1x32x72x128 32F, 4D 1x64x36x64 32F, 4D 1x80x36x64 32F, 4D 1x32x36x64 32F, 4D 1x64x18x32 32F, 4D 1x80x18x32 32F, 4D 1x32x18x32 32F, 4D 1x32x144x256 32F1.3 +/- 0.5 ms180.4 +/- 0.6 ms116.5 +/- 8.1 ms298.2 +/- 8.2 ms3.4 fps
NPU:Python:yolov7-tiny-512x288-PyPost 4D 1x3x288x512 8U4D 1x255x36x64 32F, 4D 1x255x18x32 32F, 4D 1x255x9x16 32F4.9 +/- 5.3 ms12.8 +/- 1.3 ms2.9 +/- 1.5 ms20.6 +/- 5.7 ms48.5 fps
NPU:DetectOBB:yolo11n-obb-512x288 4D 1x3x288x512 8U4D 1x64x36x64 32F, 4D 1x15x36x64 32F, 4D 1x1x36x64 32F, 4D 1x64x18x32 32F, 4D 1x15x18x32 32F, 4D 1x1x18x32 32F, 4D 1x64x9x16 32F, 4D 1x15x9x16 32F, 4D 1x1x9x16 32F3.6 +/- 4.0 ms13.2 +/- 0.2 ms726.9 +/- 108.1 us17.5 +/- 3.9 ms57.0 fps
NPU:DetectOBB:yolov8n-obb-512x288 4D 1x3x288x512 8U4D 1x64x36x64 32F, 4D 1x15x36x64 32F, 4D 1x1x36x64 32F, 4D 1x64x18x32 32F, 4D 1x15x18x32 32F, 4D 1x1x18x32 32F, 4D 1x64x9x16 32F, 4D 1x15x9x16 32F, 4D 1x1x9x16 32F4.6 +/- 4.6 ms9.3 +/- 0.1 ms683.3 +/- 108.1 us14.6 +/- 4.5 ms68.7 fps
NPU:DetectOBB:yolo11s-obb-512x288 4D 1x3x288x512 8U4D 1x64x36x64 32F, 4D 1x15x36x64 32F, 4D 1x1x36x64 32F, 4D 1x64x18x32 32F, 4D 1x15x18x32 32F, 4D 1x1x18x32 32F, 4D 1x64x9x16 32F, 4D 1x15x9x16 32F, 4D 1x1x9x16 32F4.1 +/- 4.6 ms27.5 +/- 1.8 ms794.5 +/- 504.4 us32.4 +/- 4.7 ms30.9 fps
NPU:DetectOBB:yolov8s-obb-512x288 4D 1x3x288x512 8U4D 1x64x36x64 32F, 4D 1x15x36x64 32F, 4D 1x1x36x64 32F, 4D 1x64x18x32 32F, 4D 1x15x18x32 32F, 4D 1x1x18x32 32F, 4D 1x64x9x16 32F, 4D 1x15x9x16 32F, 4D 1x1x9x16 32F4.1 +/- 4.8 ms19.0 +/- 1.0 ms714.2 +/- 411.8 us23.8 +/- 5.0 ms42.1 fps
NPU:DetectOBB:yolo11m-obb-512x288 4D 1x3x288x512 8U4D 1x64x36x64 32F, 4D 1x15x36x64 32F, 4D 1x1x36x64 32F, 4D 1x64x18x32 32F, 4D 1x15x18x32 32F, 4D 1x1x18x32 32F, 4D 1x64x9x16 32F, 4D 1x15x9x16 32F, 4D 1x1x9x16 32F3.5 +/- 3.1 ms51.8 +/- 2.1 ms735.7 +/- 196.7 us56.1 +/- 4.0 ms17.8 fps
NPU:DetectOBB:yolov8m-obb-512x288 4D 1x3x288x512 8U4D 1x64x36x64 32F, 4D 1x15x36x64 32F, 4D 1x1x36x64 32F, 4D 1x64x18x32 32F, 4D 1x15x18x32 32F, 4D 1x1x18x32 32F, 4D 1x64x9x16 32F, 4D 1x15x9x16 32F, 4D 1x1x9x16 32F4.8 +/- 4.6 ms37.5 +/- 2.0 ms756.4 +/- 364.4 us43.1 +/- 4.6 ms23.2 fps
NPU:DetectOBB:yolo11n-obb-1024x576 4D 1x3x576x1024 8U4D 1x64x72x128 32F, 4D 1x15x72x128 32F, 4D 1x1x72x128 32F, 4D 1x64x36x64 32F, 4D 1x15x36x64 32F, 4D 1x1x36x64 32F, 4D 1x64x18x32 32F, 4D 1x15x18x32 32F, 4D 1x1x18x32 32F2.0 +/- 0.9 ms96.3 +/- 2.1 ms4.0 +/- 1.2 ms102.4 +/- 2.7 ms9.8 fps
NPU:DetectOBB:yolov8n-obb-1024x576 4D 1x3x576x1024 8U4D 1x64x72x128 32F, 4D 1x15x72x128 32F, 4D 1x1x72x128 32F, 4D 1x64x36x64 32F, 4D 1x15x36x64 32F, 4D 1x1x36x64 32F, 4D 1x64x18x32 32F, 4D 1x15x18x32 32F, 4D 1x1x18x32 32F2.1 +/- 0.9 ms35.3 +/- 1.6 ms3.9 +/- 0.5 ms41.4 +/- 1.8 ms24.2 fps
NPU:DetectOBB:yolo11s-obb-1024x576 4D 1x3x576x1024 8U4D 1x64x72x128 32F, 4D 1x15x72x128 32F, 4D 1x1x72x128 32F, 4D 1x64x36x64 32F, 4D 1x15x36x64 32F, 4D 1x1x36x64 32F, 4D 1x64x18x32 32F, 4D 1x15x18x32 32F, 4D 1x1x18x32 32F2.0 +/- 0.8 ms194.1 +/- 1.7 ms3.8 +/- 0.7 ms199.9 +/- 1.9 ms5.0 fps
NPU:DetectOBB:yolov8s-obb-1024x576 4D 1x3x576x1024 8U4D 1x64x72x128 32F, 4D 1x15x72x128 32F, 4D 1x1x72x128 32F, 4D 1x64x36x64 32F, 4D 1x15x36x64 32F, 4D 1x1x36x64 32F, 4D 1x64x18x32 32F, 4D 1x15x18x32 32F, 4D 1x1x18x32 32F1.9 +/- 0.6 ms74.0 +/- 2.5 ms4.5 +/- 1.6 ms80.4 +/- 3.1 ms12.4 fps
NPU:DetectOBB:yolo11m-obb-1024x576 4D 1x3x576x1024 8U4D 1x64x72x128 32F, 4D 1x15x72x128 32F, 4D 1x1x72x128 32F, 4D 1x64x36x64 32F, 4D 1x15x36x64 32F, 4D 1x1x36x64 32F, 4D 1x64x18x32 32F, 4D 1x15x18x32 32F, 4D 1x1x18x32 32F2.3 +/- 1.0 ms314.8 +/- 1.9 ms4.1 +/- 1.1 ms321.2 +/- 2.7 ms3.1 fps
NPU:DetectOBB:yolov8m-obb-1024x576 4D 1x3x576x1024 8U4D 1x64x72x128 32F, 4D 1x15x72x128 32F, 4D 1x1x72x128 32F, 4D 1x64x36x64 32F, 4D 1x15x36x64 32F, 4D 1x1x36x64 32F, 4D 1x64x18x32 32F, 4D 1x15x18x32 32F, 4D 1x1x18x32 32F2.1 +/- 0.9 ms152.5 +/- 1.8 ms3.8 +/- 0.7 ms158.3 +/- 2.1 ms6.3 fps
NPU:Pose:yolo11n-pose-512x288 4D 1x3x288x512 8U4D 1x64x36x64 32F, 4D 1x1x36x64 32F, 4D 1x51x36x64 32F, 4D 1x64x18x32 32F, 4D 1x1x18x32 32F, 4D 1x51x18x32 32F, 4D 1x64x9x16 32F, 4D 1x1x9x16 32F, 4D 1x51x9x16 32F4.6 +/- 5.2 ms13.8 +/- 1.0 ms111.4 +/- 27.3 us18.5 +/- 5.4 ms54.0 fps
NPU:Pose:yolov8n-pose-512x288 4D 1x3x288x512 8U4D 1x64x36x64 32F, 4D 1x1x36x64 32F, 4D 1x51x36x64 32F, 4D 1x64x18x32 32F, 4D 1x1x18x32 32F, 4D 1x51x18x32 32F, 4D 1x64x9x16 32F, 4D 1x1x9x16 32F, 4D 1x51x9x16 32F5.0 +/- 5.8 ms9.7 +/- 0.4 ms107.7 +/- 26.7 us14.8 +/- 5.9 ms67.4 fps
NPU:Pose:yolo11s-pose-512x288 4D 1x3x288x512 8U4D 1x64x36x64 32F, 4D 1x1x36x64 32F, 4D 1x51x36x64 32F, 4D 1x64x18x32 32F, 4D 1x1x18x32 32F, 4D 1x51x18x32 32F, 4D 1x64x9x16 32F, 4D 1x1x9x16 32F, 4D 1x51x9x16 32F5.4 +/- 4.2 ms28.2 +/- 2.6 ms212.6 +/- 372.7 us33.8 +/- 5.0 ms29.6 fps
NPU:Pose:yolov8s-pose-512x288 4D 1x3x288x512 8U4D 1x64x36x64 32F, 4D 1x1x36x64 32F, 4D 1x51x36x64 32F, 4D 1x64x18x32 32F, 4D 1x1x18x32 32F, 4D 1x51x18x32 32F, 4D 1x64x9x16 32F, 4D 1x1x9x16 32F, 4D 1x51x9x16 32F1.7 +/- 1.4 ms19.4 +/- 1.9 ms115.8 +/- 16.9 us21.2 +/- 2.5 ms47.2 fps
NPU:Pose:yolo11m-pose-512x288 4D 1x3x288x512 8U4D 1x64x36x64 32F, 4D 1x1x36x64 32F, 4D 1x51x36x64 32F, 4D 1x64x18x32 32F, 4D 1x1x18x32 32F, 4D 1x51x18x32 32F, 4D 1x64x9x16 32F, 4D 1x1x9x16 32F, 4D 1x51x9x16 32F4.7 +/- 4.2 ms51.3 +/- 1.9 ms122.0 +/- 122.9 us56.1 +/- 4.5 ms17.8 fps
NPU:Pose:yolov8m-pose-512x288 4D 1x3x288x512 8U4D 1x64x36x64 32F, 4D 1x1x36x64 32F, 4D 1x51x36x64 32F, 4D 1x64x18x32 32F, 4D 1x1x18x32 32F, 4D 1x51x18x32 32F, 4D 1x64x9x16 32F, 4D 1x1x9x16 32F, 4D 1x51x9x16 32F3.7 +/- 3.9 ms37.4 +/- 1.7 ms134.2 +/- 208.4 us41.2 +/- 4.0 ms24.3 fps
NPU:Pose:yolo11n-pose-1024x576 4D 1x3x576x1024 8U4D 1x64x72x128 32F, 4D 1x1x72x128 32F, 4D 1x51x72x128 32F, 4D 1x64x36x64 32F, 4D 1x1x36x64 32F, 4D 1x51x36x64 32F, 4D 1x64x18x32 32F, 4D 1x1x18x32 32F, 4D 1x51x18x32 32F1.9 +/- 1.1 ms97.4 +/- 2.5 ms509.6 +/- 634.1 us99.9 +/- 3.3 ms10.0 fps
NPU:Pose:yolov8n-pose-1024x576 4D 1x3x576x1024 8U4D 1x64x72x128 32F, 4D 1x1x72x128 32F, 4D 1x51x72x128 32F, 4D 1x64x36x64 32F, 4D 1x1x36x64 32F, 4D 1x51x36x64 32F, 4D 1x64x18x32 32F, 4D 1x1x18x32 32F, 4D 1x51x18x32 32F1.8 +/- 1.0 ms36.3 +/- 1.8 ms520.8 +/- 527.6 us38.6 +/- 2.3 ms25.9 fps
NPU:Pose:yolo11s-pose-1024x576 4D 1x3x576x1024 8U4D 1x64x72x128 32F, 4D 1x1x72x128 32F, 4D 1x51x72x128 32F, 4D 1x64x36x64 32F, 4D 1x1x36x64 32F, 4D 1x51x36x64 32F, 4D 1x64x18x32 32F, 4D 1x1x18x32 32F, 4D 1x51x18x32 32F1.7 +/- 0.8 ms198.8 +/- 2.3 ms443.8 +/- 353.3 us201.0 +/- 2.6 ms5.0 fps
NPU:Pose:yolov8s-pose-1024x576 4D 1x3x576x1024 8U4D 1x64x72x128 32F, 4D 1x1x72x128 32F, 4D 1x51x72x128 32F, 4D 1x64x36x64 32F, 4D 1x1x36x64 32F, 4D 1x51x36x64 32F, 4D 1x64x18x32 32F, 4D 1x1x18x32 32F, 4D 1x51x18x32 32F1.8 +/- 0.6 ms77.0 +/- 2.1 ms507.0 +/- 530.4 us79.4 +/- 2.3 ms12.6 fps
NPU:Pose:yolo11m-pose-1024x576 4D 1x3x576x1024 8U4D 1x64x72x128 32F, 4D 1x1x72x128 32F, 4D 1x51x72x128 32F, 4D 1x64x36x64 32F, 4D 1x1x36x64 32F, 4D 1x51x36x64 32F, 4D 1x64x18x32 32F, 4D 1x1x18x32 32F, 4D 1x51x18x32 32F1.9 +/- 1.0 ms302.1 +/- 1.7 ms376.3 +/- 144.4 us304.4 +/- 2.0 ms3.3 fps
NPU:Pose:yolov8m-pose-1024x576 4D 1x3x576x1024 8U4D 1x64x72x128 32F, 4D 1x1x72x128 32F, 4D 1x51x72x128 32F, 4D 1x64x36x64 32F, 4D 1x1x36x64 32F, 4D 1x51x36x64 32F, 4D 1x64x18x32 32F, 4D 1x1x18x32 32F, 4D 1x51x18x32 32F1.9 +/- 1.0 ms153.1 +/- 2.8 ms450.7 +/- 457.3 us155.5 +/- 2.9 ms6.4 fps
NPUX:Classify:ResNet-50-int8 4D 1x3x224x224 32F2D 1x1000 32F4.4 +/- 1.0 ms576.2 +/- 11.7 ms135.0 +/- 34.9 us580.7 +/- 11.7 ms1.7 fps
NPUX:Segment:PP-HumanSeg 4D 1x3x192x192 8U4D 1x2x192x192 32F348.5 +/- 11.2 us23.3 +/- 0.1 ms401.5 +/- 11.9 us24.1 +/- 0.1 ms41.5 fps
NPUX:YuNet:YuNet-Face-512x288 4D 1x3x288x512 8U2D 8448x2 32F, 2D 8448x1 32F, 2D 8448x14 32F1.2 +/- 0.4 ms20.1 +/- 4.1 ms133.6 +/- 79.4 us21.5 +/- 4.2 ms46.6 fps
NPUX:YuNet:YuNet-Face-768x432 4D 1x3x432x768 8U2D 18984x2 32F, 2D 18984x1 32F, 2D 18984x14 32F2.4 +/- 0.8 ms30.1 +/- 1.5 ms133.3 +/- 6.5 us32.7 +/- 1.4 ms30.6 fps
SPU:Detect:YOLOv8n-640 4D 1x640x640x3 8U4D 1x80x80x64 32F, 4D 1x80x80x80 32F, 4D 1x40x40x64 32F, 4D 1x40x40x80 32F, 4D 1x20x20x64 32F, 4D 1x20x20x80 32F4.5 +/- 3.5 ms27.9 +/- 0.9 ms2.9 +/- 0.8 ms35.3 +/- 3.6 ms28.4 fps
SPU:Classify:CAS-ViT-s 4D 1x384x384x3 8U4D 1x1000x1x1 32F5.0 +/- 2.9 ms38.7 +/- 0.4 ms142.8 +/- 22.8 us43.8 +/- 2.8 ms22.8 fps
SPU:Classify:DEIT-tiny 4D 1x224x224x3 8U4D 1x1000x1x1 32F1.5 +/- 0.4 ms23.0 +/- 1.0 ms181.5 +/- 279.3 us24.6 +/- 1.2 ms40.6 fps
SPU:Classify:ResNext-50-32x4d 4D 1x224x224x3 8U4D 1x1000x1x1 32F750.6 +/- 51.4 us8.9 +/- 1.0 ms145.4 +/- 32.4 us9.8 +/- 1.0 ms102.3 fps
SPU:Classify:EfficientNet-Large 4D 1x300x300x3 8U4D 1x1001x1x1 32F3.3 +/- 0.8 ms23.1 +/- 0.4 ms171.3 +/- 263.7 us26.6 +/- 0.9 ms37.6 fps
SPU:Classify:EfficientNet-Medium 4D 1x240x240x3 8U4D 1x1001x1x1 32F1.4 +/- 0.1 ms6.3 +/- 1.6 ms126.3 +/- 5.7 us7.8 +/- 1.6 ms127.7 fps
SPU:Classify:EfficientNet-Small 4D 1x224x224x3 8U4D 1x1001x1x1 32F1.3 +/- 0.0 ms5.0 +/- 1.6 ms129.9 +/- 5.5 us6.4 +/- 1.6 ms155.6 fps
SPU:Classify:EfficientNet-Lite4 4D 1x300x300x3 8U4D 1x1000x1x1 32F2.6 +/- 0.7 ms26.9 +/- 0.5 ms182.9 +/- 439.6 us29.6 +/- 0.9 ms33.7 fps
SPU:Classify:Hardnet68 4D 1x224x224x3 8U4D 1x1000x1x1 32F1.5 +/- 2.4 ms40.6 +/- 1.8 ms184.5 +/- 372.6 us42.3 +/- 2.7 ms23.6 fps
SPU:Classify:Inception-v1 4D 1x224x224x3 8U4D 1x1001x1x1 32F674.6 +/- 27.2 us3.3 +/- 2.2 ms128.8 +/- 14.9 us4.1 +/- 2.2 ms246.6 fps
SPU:Classify:MobileNetV3 4D 1x224x224x3 8U4D 1x1001x1x1 32F688.0 +/- 52.6 us3.5 +/- 2.2 ms130.6 +/- 9.9 us4.3 +/- 2.2 ms232.9 fps
SPU:Classify:ResNet-V1-50 4D 1x224x224x3 8U4D 1x1000x1x1 32F675.9 +/- 29.0 us3.5 +/- 1.9 ms128.8 +/- 5.8 us4.3 +/- 1.9 ms230.9 fps
SPU:Classify:ResNet-V2-34 4D 1x224x224x3 8U4D 1x1000x1x1 32F673.2 +/- 27.0 us4.4 +/- 1.7 ms144.5 +/- 18.2 us5.2 +/- 1.7 ms191.3 fps
SPU:Classify:SqueezeNet 4D 1x224x224x3 8U4D 1x1000x1x1 32F676.8 +/- 31.4 us1.7 +/- 2.2 ms122.9 +/- 3.3 us2.5 +/- 2.2 ms395.2 fps
SPU:Classify:ViT-Base 4D 1x224x224x3 8U4D 1x1000x1x1 32F1.2 +/- 0.8 ms172.6 +/- 2.0 ms271.8 +/- 712.9 us174.1 +/- 2.3 ms5.7 fps
SPU:Classify:ViT-Small 4D 1x224x224x3 8U4D 1x1000x1x1 32F2.2 +/- 1.5 ms42.7 +/- 2.3 ms145.9 +/- 19.1 us45.0 +/- 2.2 ms22.2 fps
SPU:Classify:ViT-Tiny 4D 1x224x224x3 8U4D 1x1000x1x1 32F689.1 +/- 51.2 us11.1 +/- 0.6 ms139.2 +/- 14.5 us12.0 +/- 0.6 ms83.6 fps
SPU:Detect:YOLO11n-1024x576 4D 1x576x1024x3 8U4D 1x72x128x64 32F, 4D 1x72x128x80 32F, 4D 1x36x64x64 32F, 4D 1x36x64x80 32F, 4D 1x18x32x64 32F, 4D 1x18x32x80 32F220.3 +/- 222.1 us24.4 +/- 0.8 ms4.3 +/- 0.9 ms28.9 +/- 1.1 ms34.6 fps
SPU:Detect:YOLOv8n 4D 1x640x640x3 8U4D 1x80x80x64 32F, 4D 1x80x80x80 32F, 4D 1x40x40x64 32F, 4D 1x40x40x80 32F, 4D 1x20x20x64 32F, 4D 1x20x20x80 32F5.0 +/- 4.4 ms27.7 +/- 0.7 ms3.0 +/- 1.1 ms35.8 +/- 4.5 ms27.9 fps
SPU:Detect:YOLOv8s 4D 1x640x640x3 8U4D 1x80x80x64 32F, 4D 1x80x80x80 32F, 4D 1x40x40x64 32F, 4D 1x40x40x80 32F, 4D 1x20x20x64 32F, 4D 1x20x20x80 32F4.7 +/- 3.9 ms39.4 +/- 1.2 ms2.9 +/- 0.8 ms47.0 +/- 4.0 ms21.3 fps
SPU:Detect:YOLOv8m 4D 1x640x640x3 8U4D 1x80x80x64 32F, 4D 1x80x80x80 32F, 4D 1x40x40x64 32F, 4D 1x40x40x80 32F, 4D 1x20x20x64 32F, 4D 1x20x20x80 32F3.5 +/- 2.5 ms74.3 +/- 1.0 ms3.0 +/- 0.9 ms80.8 +/- 2.4 ms12.4 fps
SPU:Detect:YOLOv8l 4D 1x640x640x3 8U4D 1x20x20x64 32F, 4D 1x20x20x80 32F, 4D 1x80x80x64 32F, 4D 1x80x80x80 32F, 4D 1x40x40x64 32F, 4D 1x40x40x80 32F6.2 +/- 4.5 ms140.5 +/- 1.1 ms3.1 +/- 1.2 ms149.7 +/- 4.5 ms6.7 fps
SPU:Detect:YOLOv8x 4D 1x640x640x3 8U4D 1x80x80x64 32F, 4D 1x80x80x80 32F, 4D 1x40x40x64 32F, 4D 1x40x40x80 32F, 4D 1x20x20x64 32F, 4D 1x20x20x80 32F6.1 +/- 4.9 ms227.3 +/- 0.7 ms3.4 +/- 1.4 ms236.8 +/- 5.3 ms4.2 fps
SPU:Detect:YOLOv7-tiny 4D 1x640x640x3 8U4D 1x80x80x255 32F, 4D 1x40x40x255 32F, 4D 1x20x20x255 32F5.4 +/- 5.0 ms14.4 +/- 0.6 ms1.2 +/- 0.3 ms21.0 +/- 5.3 ms47.7 fps
SPU:Detect:YOLOv7 4D 1x640x640x3 8U4D 1x80x80x255 32F, 4D 1x40x40x255 32F, 4D 1x20x20x255 32F6.0 +/- 5.0 ms73.6 +/- 2.7 ms1.4 +/- 0.3 ms81.0 +/- 3.4 ms12.3 fps
SPU:Detect:YOLOv5xs 4D 1x512x512x3 8U4D 1x64x64x255 32F, 4D 1x32x32x255 32F, 4D 1x16x16x255 32F4.3 +/- 4.4 ms9.5 +/- 1.0 ms813.7 +/- 90.4 us14.6 +/- 4.7 ms68.3 fps
SPU:Detect:YOLOv5s 4D 1x640x640x3 8U4D 1x80x80x255 32F, 4D 1x40x40x255 32F, 4D 1x20x20x255 32F5.2 +/- 4.5 ms17.7 +/- 2.1 ms1.4 +/- 0.6 ms24.2 +/- 5.0 ms41.3 fps
SPU:Detect:YOLOv5m 4D 1x640x640x3 8U4D 1x80x80x255 32F, 4D 1x40x40x255 32F, 4D 1x20x20x255 32F4.7 +/- 4.6 ms19.7 +/- 1.1 ms1.7 +/- 0.9 ms26.1 +/- 4.9 ms38.3 fps
SPU:Detect:YOLOv3-tiny 4D 1x416x416x3 8U4D 1x13x13x255 32F, 4D 1x26x26x255 32F3.2 +/- 4.4 ms4.2 +/- 1.8 ms273.7 +/- 23.2 us7.7 +/- 4.8 ms129.2 fps
SPU:Detect:Yolox-s-leaky 4D 1x640x640x3 8U4D 1x80x80x80 32F, 4D 1x80x80x4 32F, 4D 1x80x80x1 32F, 4D 1x40x40x80 32F, 4D 1x40x40x4 32F, 4D 1x40x40x1 32F, 4D 1x20x20x80 32F, 4D 1x20x20x4 32F, 4D 1x20x20x1 32F4.6 +/- 4.6 ms13.4 +/- 0.9 ms349.0 +/- 54.0 us18.4 +/- 4.7 ms54.5 fps
SPU:Detect:Yolox-tiny 4D 1x416x416x3 8U4D 1x52x52x80 32F, 4D 1x52x52x4 32F, 4D 1x52x52x1 32F, 4D 1x26x26x80 32F, 4D 1x26x26x4 32F, 4D 1x26x26x1 32F, 4D 1x13x13x80 32F, 4D 1x13x13x4 32F, 4D 1x13x13x1 32F2.9 +/- 3.8 ms19.4 +/- 0.7 ms102.9 +/- 10.0 us22.4 +/- 4.0 ms44.6 fps
SPU:Detect:Yolox-s-wide-leaky 4D 1x640x640x3 8U4D 1x80x80x80 32F, 4D 1x80x80x4 32F, 4D 1x80x80x1 32F, 4D 1x40x40x80 32F, 4D 1x40x40x4 32F, 4D 1x40x40x1 32F, 4D 1x20x20x80 32F, 4D 1x20x20x4 32F, 4D 1x20x20x1 32F4.6 +/- 3.7 ms60.7 +/- 2.3 ms313.7 +/- 81.3 us65.6 +/- 2.6 ms15.2 fps
SPU:Detect:yolov9s-headpose-1024x576 4D 1x576x1024x3 8U4D 1x72x128x64 32F, 4D 1x72x128x9 32F, 4D 1x36x64x64 32F, 4D 1x36x64x9 32F, 4D 1x18x32x64 32F, 4D 1x18x32x9 32F7.3 +/- 1.4 ms44.2 +/- 1.6 ms761.9 +/- 486.7 us52.2 +/- 2.0 ms19.1 fps
SPU:Detect:YOLOv8n-seg 4D 1x640x640x3 8U4D 1x80x80x64 32F, 4D 1x80x80x80 32F, 4D 1x80x80x32 32F, 4D 1x40x40x64 32F, 4D 1x40x40x80 32F, 4D 1x40x40x32 32F, 4D 1x20x20x64 32F, 4D 1x20x20x80 32F, 4D 1x20x20x32 32F, 4D 1x160x160x32 32F2.1 +/- 1.1 ms23.8 +/- 1.3 ms19.9 +/- 6.5 ms45.9 +/- 6.6 ms21.8 fps
SPU:Detect:YOLOv8m-seg 4D 1x640x640x3 8U4D 1x80x80x64 32F, 4D 1x80x80x80 32F, 4D 1x80x80x32 32F, 4D 1x40x40x64 32F, 4D 1x40x40x80 32F, 4D 1x40x40x32 32F, 4D 1x20x20x64 32F, 4D 1x20x20x80 32F, 4D 1x20x20x32 32F, 4D 1x160x160x32 32F1.6 +/- 0.8 ms49.7 +/- 1.0 ms32.9 +/- 7.4 ms84.1 +/- 7.6 ms11.9 fps
SPU:Segment:Unet-MobileNetV2 4D 1x256x256x3 8U4D 1x256x256x3 8U796.5 +/- 34.7 us13.0 +/- 0.3 ms989.5 +/- 55.7 us14.8 +/- 0.3 ms67.8 fps
SPU:Segment:DeepLabV3-MobileNetV2 4D 1x513x513x3 8U4D 1x513x513x21 8U1.5 +/- 2.1 ms48.1 +/- 1.8 ms12.8 +/- 5.2 ms62.4 +/- 7.0 ms16.0 fps
SPU:Segment:DeepLabV3-MobileNetV2-NoDilation 4D 1x513x513x3 8U4D 1x513x513x1 8U5.1 +/- 5.0 ms13.7 +/- 0.4 ms1.1 +/- 0.5 ms19.9 +/- 5.1 ms50.3 fps
SPU:Segment:stdc1-cityscapes 4D 1x1024x1920x3 8U4D 1x1024x1920x1 8U5.8 +/- 2.2 ms125.9 +/- 1.4 ms9.9 +/- 3.4 ms141.5 +/- 4.3 ms7.1 fps
SPU:Pose:Yolov8s-pose 4D 1x640x640x3 8U4D 1x80x80x64 32F, 4D 1x80x80x1 32F, 4D 1x80x80x51 32F, 4D 1x40x40x64 32F, 4D 1x40x40x1 32F, 4D 1x40x40x51 32F, 4D 1x20x20x64 32F, 4D 1x20x20x1 32F, 4D 1x20x20x51 32F5.7 +/- 4.7 ms28.7 +/- 1.5 ms301.2 +/- 149.7 us34.6 +/- 4.7 ms28.9 fps
SPU:Pose:Yolov8m-pose 4D 1x640x640x3 8U4D 1x80x80x64 32F, 4D 1x80x80x1 32F, 4D 1x80x80x51 32F, 4D 1x40x40x64 32F, 4D 1x40x40x1 32F, 4D 1x40x40x51 32F, 4D 1x20x20x64 32F, 4D 1x20x20x1 32F, 4D 1x20x20x51 32F6.2 +/- 4.7 ms58.7 +/- 3.7 ms376.4 +/- 453.3 us65.2 +/- 2.2 ms15.3 fps
SPU:Pose:Yolov8m-pose-hailopp 4D 1x640x640x3 8U4D 1x80x80x64 8U, 4D 1x80x80x1 8U, 4D 1x80x80x51 16U, 4D 1x40x40x64 8U, 4D 1x40x40x1 8U, 4D 1x40x40x51 16U, 4D 1x20x20x64 8U, 4D 1x20x20x1 8U, 4D 1x20x20x51 16U5.6 +/- 4.6 ms55.0 +/- 1.6 ms6.7 +/- 1.2 ms67.3 +/- 3.9 ms14.9 fps
SPU:Python:FastDepth 4D 1x224x224x3 8U4D 1x224x224x1 32F654.0 +/- 31.3 us5.2 +/- 1.8 ms1.6 +/- 0.1 ms7.5 +/- 1.8 ms133.6 fps
OpenCV:Classify:SqueezeNet 4D 1x3x227x227 32F4D 1x1000x1x1 32F907.5 +/- 221.2 us33.1 +/- 1.4 ms74.5 +/- 4.8 us34.1 +/- 1.4 ms29.3 fps
Python:Python:SqueezeNet-python 4D 1x3x227x227 32F2D 1000x1 32F4.4 +/- 0.4 ms33.9 +/- 1.1 ms328.9 +/- 8.2 us38.7 +/- 1.2 ms25.9 fps
OpenCV:Classify:Inception-V3 4D 1x3x299x299 32F2D 1x1001 32F3.1 +/- 0.3 ms398.8 +/- 4.5 ms73.4 +/- 3.2 us401.9 +/- 4.5 ms2.5 fps
OpenCV:Classify:GoogleNet 4D 1x3x224x224 32F2D 1x1000 32F1.3 +/- 0.3 ms114.2 +/- 2.5 ms73.1 +/- 2.8 us115.6 +/- 2.5 ms8.7 fps
OpenCV:Classify:ResNet-50-int8 4D 1x3x224x224 32F2D 1x1000 32F2.7 +/- 0.1 ms226.7 +/- 4.4 ms78.3 +/- 1.0 us229.5 +/- 4.4 ms4.4 fps
OpenCV:Detect:yolo11n-512x288 4D 1x3x288x512 32F4D 1x64x36x64 32F, 4D 1x80x36x64 32F, 4D 1x64x18x32 32F, 4D 1x80x18x32 32F, 4D 1x64x9x16 32F, 4D 1x80x9x16 32F3.8 +/- 0.4 ms151.7 +/- 2.6 ms1.3 +/- 0.0 ms156.8 +/- 2.6 ms6.4 fps
OpenCV:Detect:YOLOv7-Tiny 4D 1x3x256x480 32F3D 1x7560x85 32F2.9 +/- 0.4 ms179.2 +/- 3.2 ms688.3 +/- 20.0 us182.8 +/- 3.2 ms5.5 fps
OpenCV:Detect:YoloV3-Tiny 4D 1x3x416x416 32F2D 507x85 32F, 2D 2028x85 32F3.8 +/- 0.5 ms182.3 +/- 4.7 ms137.1 +/- 5.1 us186.2 +/- 4.6 ms5.4 fps
OpenCV:Detect:YoloV2-Tiny-VOC 4D 1x3x416x416 32F2D 845x25 32F3.9 +/- 0.6 ms258.6 +/- 8.5 ms52.5 +/- 4.5 us262.5 +/- 8.5 ms3.8 fps
OpenCV:Detect:OpenCV-Face 4D 1x3x300x300 32F4D 1x1x200x7 32F2.4 +/- 0.5 ms91.4 +/- 2.0 ms24.9 +/- 1.0 us93.8 +/- 1.9 ms10.7 fps
OpenCV:Detect:YOLOv3 4D 1x3x416x416 32F2D 507x85 32F, 2D 2028x85 32F, 2D 8112x85 32F4.4 +/- 0.4 ms1.7 +/- 0.0 s464.2 +/- 14.0 us1.7 +/- 0.0 s0.6 fps
OpenCV:Detect:MobileNet-SSD-VOC 4D 1x3x300x300 32F4D 1x1x100x7 32F2.9 +/- 0.6 ms100.9 +/- 2.3 ms32.8 +/- 0.9 us103.8 +/- 2.2 ms9.6 fps
OpenCV:Segment:ENet-CityScapes 4D 1x3x256x512 8U4D 1x20x256x512 32F715.9 +/- 156.3 us221.1 +/- 3.3 ms24.6 +/- 2.7 ms246.3 +/- 4.3 ms4.1 fps
OpenCV:Segment:DeepLabV3-CPU 4D 1x3x513x513 32F4D 1x21x513x513 32F6.9 +/- 0.1 ms872.7 +/- 7.1 ms67.2 +/- 6.2 ms946.9 +/- 9.8 ms1.1 fps
OpenCV:Segment:Skin-Clothes-Hair-DeepLab 4D 1x3x512x512 32F4D 1x3x512x512 32F13.6 +/- 0.5 ms1.0 +/- 0.0 s2.3 +/- 0.1 ms1.0 +/- 0.0 s1.0 fps
OpenCV:Segment:Skin-Clothes-Hair-PAN 4D 1x3x512x512 32F4D 1x3x512x512 32F12.7 +/- 0.5 ms208.8 +/- 2.9 ms2.3 +/- 0.0 ms223.9 +/- 3.0 ms4.5 fps
OpenCV:Segment:Skin-Clothes-Hair-UNet 4D 1x3x512x512 32F4D 1x3x512x512 32F13.4 +/- 0.4 ms890.6 +/- 12.6 ms2.3 +/- 0.3 ms906.4 +/- 12.7 ms1.1 fps
OpenCV:YuNet:YuNet-Face-512x288 4D 1x3x288x512 8U2D 8448x2 32F, 2D 8448x1 32F, 2D 8448x14 32F749.6 +/- 194.3 us33.8 +/- 0.8 ms66.8 +/- 5.4 us34.6 +/- 0.7 ms28.9 fps
OpenCV:Python:FastDepth 4D 1x3x224x224 32F4D 1x1x224x224 32F1.1 +/- 0.2 ms63.1 +/- 1.3 ms829.0 +/- 35.6 us65.1 +/- 1.3 ms15.4 fps
TPU:Classify:MobileNetV3-1.0-224 4D 1x224x224x3 8U2D 1x1001 32F820.2 +/- 25.5 us3.2 +/- 0.0 ms127.7 +/- 5.2 us4.2 +/- 0.0 ms238.8 fps
TPU:Classify:MobileNetV2-1.0-224 4D 1x224x224x3 8U2D 1x1001 32F831.1 +/- 34.2 us2.7 +/- 0.0 ms127.6 +/- 5.6 us3.6 +/- 0.0 ms276.1 fps
TPU:Classify:MobileNetV1-1.0-224 4D 1x224x224x3 8U2D 1x1001 32F842.5 +/- 49.8 us2.4 +/- 0.1 ms132.2 +/- 19.6 us3.4 +/- 0.1 ms292.5 fps
TPU:Classify:EfficientNet-L 4D 1x300x300x3 8U2D 1x1001 32F1.9 +/- 0.5 ms28.1 +/- 0.8 ms190.3 +/- 349.1 us30.2 +/- 1.0 ms33.2 fps
TPU:Classify:EfficientNet-M 4D 1x240x240x3 8U2D 1x1001 32F914.4 +/- 65.7 us9.9 +/- 0.0 ms128.6 +/- 12.1 us10.9 +/- 0.1 ms91.7 fps
TPU:Classify:EfficientNet-S 4D 1x224x224x3 8U2D 1x1001 32F847.0 +/- 50.8 us5.0 +/- 0.0 ms124.1 +/- 7.5 us6.0 +/- 0.1 ms166.8 fps
TPU:Classify:MobileNetV1-1.0-224-TF2 4D 1x224x224x3 8U2D 1x1001 32F835.1 +/- 46.4 us2.5 +/- 0.0 ms128.3 +/- 9.4 us3.4 +/- 0.1 ms291.5 fps
TPU:Classify:MobileNetV2-1.0-224-TF2 4D 1x224x224x3 8U2D 1x1001 32F832.4 +/- 35.6 us2.7 +/- 0.0 ms129.7 +/- 15.8 us3.7 +/- 0.0 ms272.4 fps
TPU:Classify:MobileNetV3-1.0-224-TF2 4D 1x224x224x3 8U2D 1x1001 32F845.0 +/- 47.1 us3.3 +/- 0.1 ms128.4 +/- 10.5 us4.2 +/- 0.1 ms236.1 fps
TPU:Classify:MobileNetV2-iNat-Insects 4D 1x224x224x3 8U2D 1x1022 32F673.4 +/- 27.6 us2.7 +/- 0.0 ms130.7 +/- 10.3 us3.5 +/- 0.0 ms287.5 fps
TPU:Classify:MobileNetV2-iNat-Plants 4D 1x224x224x3 8U2D 1x2102 32F672.0 +/- 28.5 us2.8 +/- 0.0 ms254.4 +/- 21.2 us3.7 +/- 0.0 ms268.7 fps
TPU:Classify:MobileNetV2-iNat-Birds 4D 1x224x224x3 8U2D 1x965 32F669.5 +/- 26.6 us2.7 +/- 0.0 ms123.1 +/- 2.9 us3.5 +/- 0.0 ms289.2 fps
TPU:Classify:Inception-V1 4D 1x224x224x3 8U2D 1x1001 32F833.4 +/- 36.7 us3.5 +/- 0.0 ms160.9 +/- 38.2 us4.5 +/- 0.1 ms222.2 fps
TPU:Classify:Inception-V2 4D 1x224x224x3 8U2D 1x1001 32F834.2 +/- 46.7 us15.4 +/- 0.0 ms129.4 +/- 8.3 us16.4 +/- 0.1 ms61.0 fps
TPU:Classify:Inception-V3 4D 1x299x299x3 8U2D 1x1001 32F2.3 +/- 1.6 ms46.2 +/- 0.9 ms127.8 +/- 11.2 us48.6 +/- 1.7 ms20.6 fps
TPU:Classify:Inception-V4 4D 1x299x299x3 8U2D 1x1001 32F1.6 +/- 0.4 ms93.9 +/- 0.6 ms127.0 +/- 11.0 us95.6 +/- 0.7 ms10.5 fps
TPU:Classify:Resnet-50 4D 1x224x224x3 8U2D 1x1001 32F1.5 +/- 1.0 ms46.3 +/- 0.7 ms131.4 +/- 20.3 us47.9 +/- 1.3 ms20.9 fps
TPU:Classify:Popular-US-Products 4D 1x224x224x3 8U2D 1x100000 32F652.7 +/- 64.9 us8.1 +/- 0.1 ms11.2 +/- 0.6 ms19.9 +/- 0.6 ms50.2 fps
TPU:Detect:MobileDetSSD-Coco 4D 1x320x320x3 8U3D 1x10x4 32F, 2D 1x10 32F, 2D 1x10 32F, 2D 1x1 32F2.8 +/- 4.4 ms11.8 +/- 1.1 ms68.0 +/- 10.0 us14.7 +/- 4.0 ms68.1 fps
TPU:Detect:MobileNetSSDv2-face 4D 1x320x320x3 8U3D 1x50x4 32F, 2D 1x50 32F, 2D 1x50 32F, 2D 1x1 32F1.4 +/- 3.4 ms19.5 +/- 6.0 ms18.3 +/- 5.4 us20.9 +/- 6.2 ms47.9 fps
TPU:Detect:MobileNetSSDv2-Coco 4D 1x300x300x3 8U3D 1x20x4 32F, 2D 1x20 32F, 2D 1x20 32F, 2D 1x1 32F1.0 +/- 0.0 ms11.2 +/- 0.1 ms79.0 +/- 15.9 us12.3 +/- 0.1 ms81.1 fps
TPU:Detect:MobileNetSSDv1-Coco 4D 1x300x300x3 8U3D 1x20x4 32F, 2D 1x20 32F, 2D 1x20 32F, 2D 1x1 32F589.3 +/- 42.2 us44.4 +/- 0.3 ms58.7 +/- 4.9 us45.1 +/- 0.3 ms22.2 fps
TPU:Detect:EfficientDetLite0-Coco 4D 1x320x320x3 8U3D 1x25x4 32F, 2D 1x25 32F, 2D 1x25 32F, 2D 1x1 32F531.8 +/- 138.0 us50.4 +/- 1.2 ms46.7 +/- 3.8 us51.0 +/- 1.2 ms19.6 fps
TPU:Detect:EfficientDetLite1-Coco 4D 1x384x384x3 8U3D 1x25x4 32F, 2D 1x25 32F, 2D 1x25 32F, 2D 1x1 32F545.2 +/- 116.0 us73.8 +/- 0.3 ms63.0 +/- 2.5 us74.5 +/- 0.3 ms13.4 fps
TPU:Detect:EfficientDetLite2-Coco 4D 1x448x448x3 8U3D 1x25x4 32F, 2D 1x25 32F, 2D 1x25 32F, 2D 1x1 32F557.7 +/- 90.5 us117.6 +/- 0.8 ms62.8 +/- 3.3 us118.2 +/- 0.8 ms8.5 fps
TPU:Detect:EfficientDetLite3-Coco 4D 1x512x512x3 8U3D 1x25x4 32F, 2D 1x25 32F, 2D 1x25 32F, 2D 1x1 32F761.4 +/- 261.9 us127.6 +/- 0.7 ms58.9 +/- 3.6 us128.4 +/- 0.7 ms7.8 fps
TPU:Detect:EfficientDetLite3x-Coco 4D 1x640x640x3 8U3D 1x25x4 32F, 2D 1x25 32F, 2D 1x25 32F, 2D 1x1 32F926.5 +/- 474.8 us312.2 +/- 0.8 ms63.4 +/- 10.4 us313.2 +/- 0.8 ms3.2 fps
TPU:Segment:UNet-MobileNetV2-Pets-128 4D 1x128x128x3 8U4D 1x128x128x3 8U341.0 +/- 18.2 us4.1 +/- 0.1 ms319.4 +/- 40.1 us4.7 +/- 0.1 ms210.8 fps
TPU:Segment:UNet-MobileNetV2-Pets-256 4D 1x256x256x3 8U4D 1x256x256x3 8U839.9 +/- 67.6 us15.8 +/- 0.1 ms966.3 +/- 51.7 us17.6 +/- 0.1 ms56.8 fps
TPU:Segment:DeepLabV3-dm0.5 4D 1x513x513x3 8U3D 1x513x513 32S771.2 +/- 224.1 us87.3 +/- 0.3 ms514.6 +/- 8.1 us88.6 +/- 0.4 ms11.3 fps
TPU:Segment:DeepLabV3-dm1.0 4D 1x513x513x3 8U3D 1x513x513 32S717.6 +/- 38.3 us93.2 +/- 0.3 ms531.4 +/- 15.1 us94.4 +/- 0.3 ms10.6 fps
TPU:Segment:DeepLab-slim 4D 1x513x513x3 8U3D 1x513x513 32S729.8 +/- 82.5 us92.2 +/- 0.3 ms633.2 +/- 10.1 us93.6 +/- 0.4 ms10.7 fps
VPU:Classify:Inception-V3 4D 1x3x299x299 32F2D 1x1001 32F4.1 +/- 1.1 ms129.0 +/- 1.8 ms138.4 +/- 19.1 us133.2 +/- 2.0 ms7.5 fps
VPU:Detect:face-detection-retail-0004 4D 1x3x300x300 8U4D 1x1x200x7 32F1.8 +/- 0.6 ms28.7 +/- 1.5 ms36.7 +/- 9.2 us30.5 +/- 1.5 ms32.8 fps
VPU:Detect:face-detection-adas-0001 4D 1x3x384x672 8U4D 1x1x200x7 32F6.3 +/- 4.8 ms111.7 +/- 1.3 ms39.6 +/- 39.7 us118.1 +/- 4.9 ms8.5 fps
VPU:Detect:person-detection-retail-0013 4D 1x3x320x544 8U4D 1x1x200x7 32F6.3 +/- 5.2 ms159.0 +/- 1.4 ms36.7 +/- 6.2 us165.3 +/- 4.7 ms6.1 fps
VPU:Detect:pedestrian-detection-adas-0002 4D 1x3x384x672 8U4D 1x1x200x7 32F6.3 +/- 5.3 ms116.0 +/- 1.5 ms37.2 +/- 9.9 us122.4 +/- 5.4 ms8.2 fps
VPU:Detect:vehicle-detection-adas-0002 4D 1x3x384x672 8U4D 1x1x200x7 32F7.2 +/- 4.9 ms111.5 +/- 1.4 ms50.9 +/- 7.9 us118.8 +/- 5.2 ms8.4 fps
VPU:Detect:pedestrian-and-vehicle-detector-adas-0001 4D 1x3x384x672 8U4D 1x1x200x7 32F6.9 +/- 4.8 ms130.0 +/- 1.2 ms56.3 +/- 14.5 us137.0 +/- 5.0 ms7.3 fps
VPU:Detect:product-detection-0001 4D 1x3x512x512 8U4D 1x1x200x7 32F8.2 +/- 5.7 ms155.6 +/- 1.3 ms55.4 +/- 2.9 us163.9 +/- 5.7 ms6.1 fps
VPU:Detect:YoloV5s 4D 1x3x640x640 8U4D 1x255x80x80 32F, 4D 1x255x40x40 32F, 4D 1x255x20x20 32F6.6 +/- 4.9 ms550.4 +/- 8.6 ms801.3 +/- 261.7 us557.8 +/- 8.2 ms1.8 fps
VPU:Segment:road-segmentation-adas-0001 4D 1x3x512x896 8U4D 1x4x512x896 32F3.7 +/- 1.5 ms671.7 +/- 6.3 ms17.4 +/- 3.5 ms692.8 +/- 6.4 ms1.4 fps
ORT:Detect:YOLOv10n 4D 1x3x288x512 32F3D 1x300x6 32F3.8 +/- 0.7 ms122.8 +/- 0.8 ms43.9 +/- 2.5 us126.6 +/- 0.7 ms7.9 fps
ORT:Detect:YOLOv7-Tiny 4D 1x3x256x480 32F3D 1x7560x85 32F2.9 +/- 1.0 ms162.6 +/- 1.1 ms760.3 +/- 17.2 us166.3 +/- 1.0 ms6.0 fps
ORT:Python:DamoYOLO-tinynasL20_T-320x192 4D 1x3x192x320 32F3D 1x1260x80 32F, 3D 1x1260x4 32F856.1 +/- 49.5 us116.2 +/- 0.5 ms3.3 +/- 0.1 ms120.3 +/- 0.5 ms8.3 fps
Python:Python:DamoYOLO-tinynasL20_T-320x192-Python 4D 1x3x192x320 32F2D 1x1260 32FC80, 2D 1x1260 32FC42.0 +/- 0.4 ms134.9 +/- 2.5 ms3.3 +/- 0.5 ms140.2 +/- 2.4 ms7.1 fps
ORT:Python:DamoYOLO-tinynasL20_T-480x288 4D 1x3x288x480 32F3D 1x2835x80 32F, 3D 1x2835x4 32F2.4 +/- 1.0 ms244.6 +/- 1.9 ms5.8 +/- 0.1 ms252.9 +/- 2.0 ms4.0 fps
ORT:Python:DamoYOLO-tinynasL25_S-320x192 4D 1x3x192x320 32F3D 1x1260x80 32F, 3D 1x1260x4 32F866.0 +/- 57.2 us218.9 +/- 0.5 ms3.3 +/- 0.1 ms223.1 +/- 0.6 ms4.5 fps
ORT:Python:DamoYOLO-tinynasL25_S-480x288 4D 1x3x288x480 32F3D 1x2835x80 32F, 3D 1x2835x4 32F3.4 +/- 0.4 ms463.9 +/- 1.5 ms5.5 +/- 0.0 ms472.9 +/- 1.5 ms2.1 fps
ORT:Python:DamoYOLO-tinynasL35_M-320x192 4D 1x3x192x320 32F3D 1x1260x80 32F, 3D 1x1260x4 32F1.5 +/- 0.5 ms355.8 +/- 0.7 ms3.4 +/- 0.1 ms360.7 +/- 0.7 ms2.8 fps
ORT:Python:DamoYOLO-tinynasL35_M-480x288 4D 1x3x288x480 32F3D 1x2835x80 32F, 3D 1x2835x4 32F3.4 +/- 0.3 ms760.5 +/- 2.3 ms6.0 +/- 0.1 ms770.0 +/- 2.2 ms1.3 fps
ORT:Segment:Skin-Clothes-Hair-DeepLab 4D 1x3x512x512 32F4D 1x3x512x512 32F14.1 +/- 0.7 ms385.9 +/- 2.3 ms2.3 +/- 0.0 ms402.3 +/- 2.4 ms2.5 fps
ORT:Segment:Skin-Clothes-Hair-PAN 4D 1x3x512x512 32F4D 1x3x512x512 32F12.7 +/- 0.8 ms195.7 +/- 0.6 ms2.3 +/- 0.0 ms210.7 +/- 1.0 ms4.7 fps
ORT:Segment:Skin-Clothes-Hair-UNet 4D 1x3x512x512 32F4D 1x3x512x512 32F14.1 +/- 0.8 ms1.1 +/- 0.0 s2.4 +/- 0.4 ms1.1 +/- 0.0 s0.9 fps
ORT:Segment:LaneSOD 4D 1x3x192x320 32F4D 1x1x192x320 32F3.5 +/- 0.2 ms2.2 +/- 0.0 s414.2 +/- 8.7 us2.2 +/- 0.0 s0.4 fps
ORT:Python:YoloV8n-seg 4D 1x3x640x640 32F3D 1x116x8400 32F, 4D 1x32x160x160 32F9.6 +/- 1.3 ms487.6 +/- 4.8 ms30.5 +/- 3.6 ms527.8 +/- 5.5 ms1.9 fps
ORT:Python:URetinex-Net 4D 1x3x180x320 32F4D 1x3x180x320 32F2.0 +/- 0.3 ms3.0 +/- 0.0 s2.3 +/- 0.0 ms3.0 +/- 0.0 s0.3 fps
ORT:Python:FastDepth 4D 1x3x224x224 32F4D 1x1x224x224 32F1.0 +/- 0.1 ms71.9 +/- 0.6 ms816.5 +/- 15.8 us73.7 +/- 0.6 ms13.6 fps
VPUX:Classify:Inception-V3 4D 1x3x299x299 32F2D 1x1001 32F3.2 +/- 0.3 ms587.0 +/- 1.4 ms71.8 +/- 6.8 us590.2 +/- 1.3 ms1.7 fps
VPUX:Detect:face-detection-retail-0004 4D 1x3x300x300 8U4D 1x1x200x7 32F827.3 +/- 83.6 us104.2 +/- 0.4 ms24.4 +/- 2.6 us105.0 +/- 0.4 ms9.5 fps
VPUX:Detect:face-detection-adas-0001 4D 1x3x384x672 8U4D 1x1x200x7 32F2.1 +/- 0.3 ms541.3 +/- 2.4 ms23.2 +/- 0.5 us543.4 +/- 2.4 ms1.8 fps
VPUX:Detect:person-detection-retail-0013 4D 1x3x320x544 8U4D 1x1x200x7 32F1.8 +/- 0.4 ms625.2 +/- 2.0 ms23.8 +/- 1.6 us626.9 +/- 2.0 ms1.6 fps
VPUX:Detect:pedestrian-detection-adas-0002 4D 1x3x384x672 8U4D 1x1x200x7 32F2.1 +/- 0.3 ms555.5 +/- 1.5 ms23.8 +/- 5.4 us557.7 +/- 1.5 ms1.8 fps
VPUX:Detect:vehicle-detection-adas-0002 4D 1x3x384x672 8U4D 1x1x200x7 32F2.2 +/- 0.3 ms552.2 +/- 1.3 ms35.1 +/- 3.6 us554.4 +/- 1.3 ms1.8 fps
VPUX:Detect:pedestrian-and-vehicle-detector-adas-0001 4D 1x3x384x672 8U4D 1x1x200x7 32F2.2 +/- 0.4 ms659.2 +/- 3.0 ms36.1 +/- 3.4 us661.5 +/- 3.0 ms1.5 fps
VPUX:Detect:product-detection-0001 4D 1x3x512x512 8U4D 1x1x200x7 32F2.4 +/- 0.3 ms3.9 +/- 0.0 s35.6 +/- 5.5 us4.0 +/- 0.0 s0.3 fps
VPUX:Detect:YoloV5s 4D 1x3x640x640 8U4D 1x255x80x80 32F, 4D 1x255x40x40 32F, 4D 1x255x20x20 32F2.8 +/- 0.2 ms1.2 +/- 0.0 s551.5 +/- 93.9 us1.3 +/- 0.0 s0.8 fps
VPUX:Segment:road-segmentation-adas-0001 4D 1x3x512x896 8U4D 1x4x512x896 32F3.3 +/- 0.3 ms4.4 +/- 0.0 s5.8 +/- 0.0 ms4.4 +/- 0.0 s0.2 fps

YOLOv8 / v9 / v10 / 11 demo

Older benchmarks

Older benchmarks are provided for comparison as the software evolves over time. Typically, networks running on CPU with OpenCV backend should get faster over time as more optimized kernels are added to OpenCV. Networks running on hardware accelerators tend to remain the same. Pre and Post processing are under our control and we strive to make those faster over time as well, though sometimes adding more features may decrease speed slightly.

Note
In the newer benchmarks, we are getting more variability in pre-processing time although that code has not changed. We attribute this to new, more aggressive post-processing, which may occur in parallel with the pre-processing when running the network in Async mode.