Преобразование VNCoreMLFeatureValueObservations в VNDetectedObjectObservation

Question

Я экспортировал модель YOLOV5, но конфигурация вывода находится в VNCoreMLFeatureValueObservations вместо того VNDetectedObjectObservation.

Конфигурация выхода:

[ 4FC4A8B2-A967-4CC7-8A86-E16863258F1B requestRevision=1 уверенность =1.000000 "2308" - "MultiArray: Float32 1 x 3 x 20 x 20 x 85Observation 0" (1.000020Mext), 882-11392-E-85-85 5639E82B3416 requestRevision=1 уверенность = 1.000000 "2346" - "MultiArray: Float32 1 x 3 x 80 x 80 x 85 array" (1.000000)]

Итак, мой вопрос в том, какая информация делает это VNCoreMLFeatureValueObservation Удержание MultiArray (это что-то вроде UIImage или CGRect? Или что-то другое?) И как я могу преобразовать этот многомерный массив в полезный набор данных, который я действительно могу использовать?

Answer 1

Вам нужно превратить вашу модель YOLO в конвейер с модулем NMS на конце. Теперь Core ML / Vision будет рассматривать модель как детектор объектов.

См. Также мое сообщение в блоге: https://machinethink.net/blog/mobilenet-ssdlite-coreml/