Пино: Схема для читаемого формата даты и времени

Question

Я потребляю данные Кафки в режиме реального времени в пино. Дата-время формат данных приведен ниже:

«Пн, 14 марта, 15:58:24 IST 2022»

Я изо всех сил пытаюсь написать «dateTimeFieldSpecs» в файле схемы. Не могли бы вы мне помочь?

Спасибо,

Сукумар

Answer 1

вы можете использовать функции преобразования, чтобы сделать это за вас.

Сначала добавьте столбец в свой обычныйschema.json. После этого добавьте в настройки стола функцию трансформации, обычно этоtable.json. Эта функция берет исходный столбец и переформатирует его в тип Пино.

Однако не забывайте, что может потребоваться сверка серверных и местных часовых поясов, особенно в таблицах реального времени.

Ознакомьтесь с этими документами

Надеюсь это поможет!

Answer 2

по крайней мере, у вас есть два варианта ниже: конфигурация соответствует полю в форматеyyyy-MM-ddTHH:mm:ss.SSSZ:

1. вы можете определить это поле как измерение один:

          {
        "name": "Date1",
        "dataType": "TIMESTAMP"
    }
]

2. определить поле как dateTime:

      "dateTimeFieldSpec": [
        {
            "name": "DateFeild",
            "dataType": "TIMESTAMP",
            "format": "1:MILLISECONDS:EPOCH",
            "granularity": "1:DAYS"
        }
    ]

с функцией преобразования, добавленной в конфигурацию таблицы:

      "transformConfig": [
    {
        "columnName": "DateFeild",
        "transformFunction": "FromDateTime(\"Date1\", 'yyyy-MM-dd''T''HH:mm:ss.SSS''Z')"
    }
]