Как использовать набор данных mscoco с "счетчиками" в двоичном коде?

Question

Я хотел бы обучить мою модель семантической сегментации MSCOCO (только материал) с использованием файла json, но ключ "count" содержит двоичные символы. Я что-то пропустил?

Я использую MXNet, и загрузчик данных непосредственно ищет файлы json. Не уверен, как я могу использовать png аннотированные изображения.

Вот образец:

{"segmentation": {"counts": "[6c0\\>0O1O100O2N1O101N2N1O2N1O010O000000000000001N101O0O2N101O0000O2L3N2N2N2N2M3H8G\\lg8", "size": [478, 640]}, "area": 1167.0, "iscrowd": 0, "image_id": 581781, "bbox": [0.0, 203.0, 40.0, 40.0], "category_id": 123, "id": 20032797}

Answer 1

Ладно, я понял. Здесь мы можем найти информацию: https://github.com/cocodataset/cocoapi/blob/master/PythonAPI/pycocotools/mask.py

Это так просто, как:

from pycocotools import mask
sample = {"segmentation": {"counts": "[6c0\\>0O1O100O2N1O101N2N1O2N1O010O000000000000001N101O0O2N101O0000O2L3N2N2N2N2M3H8G\\lg8", "size": [478, 640]}, "area": 1167.0, "iscrowd": 0, "image_id": 581781, "bbox": [0.0, 203.0, 40.0, 40.0], "category_id": 123, "id": 20032797}
mask.decode(sample['segmentation'])

А что касается файлов PNG, это еще проще, потому что он может быть загружен непосредственно как метка.