Как использовать предсказать API обслуживания тензорного потока

Question

Я использую builder API для сохранения моей модели радужной оболочки как SavedModel и развертывания ее с помощью Docker:

docker run -p 8503:8501 -v $PWD/my_model3:/models/my_model3 -e MODEL_NAME=my_model3 -t tensorflow/serving

Хорошо, я могу использовать формат строки TF ( Прогноз API instances следующее:

URL: http://localhost:8503/v1/models/my_model3:predict

Запрос:

{
    "signature_name": "predict",
    "instances": [
        {
            "size": [5.1, 3.3, 1.7, 0.5]
        }
    ]
}

Ответ:

{
    "predictions": [
        {
            "probabilities": [
                0.998033,
                0.00196652,
                1.84558e-18
            ],
            "predicted_classes": 0,
            "logits": [
                19.9882,
                13.7587,
                -20.8436
            ]
        }
    ]
}

Согласно Predict API, формат столбца также поддерживается inputs лайк:

{
    "inputs": {
    "tag": ["foo", "bar"],
    "signal": [[1, 2, 3, 4, 5], [3, 4, 1, 2, 5]],
    "sensor": [[[1, 2], [3, 4]], [[4, 5], [6, 8]]]
    }
}

Но, кажется, не работает для меня, тело запроса, как:

Запрос:

{
    "signature_name": "predict",
    "inputs": 
        {
            "size": [[5.1, 3.3, 1.7, 0.5]]
        }

}

и вернуть ошибку:

{ "error": "JSON Value: {\n    \"signature_name\": \"predict\",\n    \"inputs\": {\n        \"size\": [\n            [\n                5.1,\n                3.3,\n                1.7,\n                0.5\n            ]\n        ]\n    }\n} not formatted correctly. Expecting object with \'instances\' key and a list/array as the value." }

Кто-нибудь использует формат столбца, может мне помочь? Спасибо за ваши советы!

============

Моя среда:

• ОС: Centos 7,4
• докер: 17.09.0-й
• Тензор-GPU: 1.7.0