Невозможно обработать ввод JSON при загрузке журналов в Oracle

Question

Ошибка:

          send: b'{"specversion": "1.0", "logEntryBatches": [{"entries": [{"data": "{\\"hello\\": \\"oracle\\", \\"as\\": \\"aaa\\"}", "id": "ocid1.test.oc1..jkhjkhh23423fd", "time": "2021-04-01T12:19:28.416000Z"}], "source": "EXAMPLE-source-Value", "type": "remediationLogs", "defaultlogentrytime": "2021-04-01T12:19:28.416000Z"}]}'
reply: 'HTTP/1.1 400 Bad Request\r\n'
header: Date: Fri, 02 Apr 2021 07:39:16 GMT
header: opc-request-id: ER6S6HDVTNWUOKCJ7XXZ/OpcRequestIdExample/770899C2C7CA6ABA11D996CC57E8EE8F
header: Content-Type: application/json
header: Connection: close
header: Content-Length: 79
Traceback (most recent call last):
  File "tool.py", line 45, in <module>
    put_logs_response = loggingingestion_client.put_logs(
  File "/home/ubuntu/.local/lib/python3.8/site-packages/oci/loggingingestion/logging_client.py", line 172, in put_logs
    return self.base_client.call_api(
  File "/home/ubuntu/.local/lib/python3.8/site-packages/oci/base_client.py", line 276, in call_api
    response = self.request(request)
  File "/home/ubuntu/.local/lib/python3.8/site-packages/oci/base_client.py", line 388, in request
    self.raise_service_error(request, response)
  File "/home/ubuntu/.local/lib/python3.8/site-packages/oci/base_client.py", line 553, in raise_service_error
    raise exceptions.ServiceError(
oci.exceptions.ServiceError: {'opc-request-id': 'ER6S6HDVTNWUOKCJ7XXZ/OpcRequestIdExample/770899C2C7CA6ABA11D996CC57E8EE8F', 'code': 'InvalidParameter', 'message': 'Unable to process JSON input', 'status': 400}

Я пытаюсь отправить данные json в журналы Oracle, но получаю указанную выше ошибку. Я использую json.dumps (data) для преобразования dict в строку. Пожалуйста, дайте мне знать, доступен ли какой-либо обходной путь для этого.

Код:

      data = {'hello':'oracle', "as":"aaa"}
put_logs_response = loggingingestion_client.put_logs(
        log_id="ocid1.log.oc1.iad.<<Log OCID>>",
        put_logs_details=oci.loggingingestion.models.PutLogsDetails(
            specversion="1.0",
            log_entry_batches=[
                oci.loggingingestion.models.LogEntryBatch(
                    entries=[
                        oci.loggingingestion.models.LogEntry(
                            data= json.dumps(data),
                            id="ocid1.test.oc1..jkhjkhh23423fd",
                            time=datetime.strptime(
                                "2021-04-01T12:19:28.416Z",
                                "%Y-%m-%dT%H:%M:%S.%fZ"))],
                    source="EXAMPLE-source-Value",
                    type="Logs",
                    defaultlogentrytime=datetime.strptime(
                        "2021-04-01T12:19:28.416Z",
                        "%Y-%m-%dT%H:%M:%S.%fZ"))]),
        timestamp_opc_agent_processing=datetime.strptime(
            "2021-04-01T12:19:28.416Z",
            "%Y-%m-%dT%H:%M:%S.%fZ"),
        opc_agent_version="EXAMPLE-opcAgentVersion-Value",
        opc_request_id="ER6S6HDVTNWUOKCJ7XXZ/OpcRequestIdExample/")

Answer 1

Ваши данные выглядят нормально, я думаю, проблема в том, что точность времени превышает миллисекунды. он должен работать нормально, если вы со временем потеряете конечные нули.
Форматировать дату и время в строку с миллисекундами

https://docs.oracle.com/en-us/iaas/api/#/en/logging-dataplane/20200831/LogEntry/

Answer 2

Это исключение указывает на то, что у вас есть InvalidParameter во входных данных JSON.

      oci.exceptions.ServiceError: {'opc-request-id': 'ER6S6HDVTNWUOKCJ7XXZ/OpcRequestIdExample/770899C2C7CA6ABA11D996CC57E8EE8F', 'code': 'InvalidParameter', 'message': 'Unable to process JSON input', 'status': 400}

InvalidParameter - это ваша временная метка, то есть дата - 2021-04-01T12:19:28.416Z . Эта временная метка не является жалобой на RFC3339.

Согласно документации Oracle, вам необходимо использовать формат даты и времени RFC3339 при создании LogEntry.

Этот фрагмент кода взят из oci-python-sdk - log_entry.py

      @time.setter
    def time(self, time):
        """
        Sets the time of this LogEntry.
        Optional. The timestamp associated with the log entry. An RFC3339-formatted date-time string.
        If unspecified, defaults to PutLogsDetails.defaultlogentrytime.
        :param time: The time of this LogEntry.
        :type: datetime
        """
        self._time = time

Этот код создает отметки времени жалобы UTC RFC3339.

      from datetime import datetime

time = datetime.utcnow().isoformat()[:-4] + "Z"
print(time)
#output
2021-04-06T01:05:16.02Z


utc_time = datetime.utcnow().isoformat()[:-4] + "-00:00"
print(utc_time)
#output
2021-04-06T01:43:32.42-00:00

Этот вопрос о переполнении стека стоит прочитать:

В чем разница между форматами дат ISO 8601 и RFC 3339?

Эта статья также будет полезна:

Понимание RFC 3339 для форматирования даты, времени и часового пояса в разработке программного обеспечения

Вот два модуля Python, которые скрывают временные метки для жалоб RFC3339.

• строгий-rfc3339

• pyRFC3339

Answer 3

Ваше время - RFC3339, но точность больше миллисекунды

'{"specversion": "1.0", "logEntryBatches": [{"entry": [{"data": "{\" привет \ ": \" oracle \ », \" as \ ": \" aaa \ "}", "id": "ocid1.test.oc1..jkhjkhh23423fd", "time": "2021-04-01T12:19:28.416000Z"}], "source": "EXAMPLE-source-Value", "тип": "RedeiationLogs", "defaultlogentrytime": " 2021-04-01T12:19:28.416000Z"}]}'

См. Https://docs.oracle.com/en-us/iaas/api/#/en/logging-dataplane/20200831/LogEntry/

      The timestamp associated with the log entry. An RFC3339-formatted date-time string with milliseconds precision. If unspecified, defaults to PutLogsDetails.defaultlogentrytime.