Как предотвратить добавление обратной косой черты в строку JSON

Question

Я хотел бы читать события из концентратора событий с помощью Databricks, события в формате json, но они могут иметь другую схему (это важно, потому что я нахожу решения, в которых схема была передана функции from_json(jsonStr,schema), но я не могу использовать ее в мой вариант использования). когда я использую .withColumn('Value', col('value').cast(StringType()в dataframe возвращает вывод json с обратной косой чертой "{\"time\": 1432826855000,\"host\":.......

Я нашел решение Как запретить искровому sql с kafka добавлять обратную косую черту к строке JSON в фрейме данных, но в среде Delta Live Tables мы создаем потоковые таблицы, возвращая фрейм данных, поэтому я не могу использовать это решение.

Должен ли я использовать функции, отличные от pyspark, в процессе etl, например, как удалить обратную косую черту из декодированной строки JSON?? Будет ли он эффективен при стриме с eventhub на бронзу?

Answer 1

Вы не должны беспокоиться об этих обратных косых чертах - это просто визуальное представление вашей строки, когда вы отображаете данные, и она имеет "символ, встроенный в строку. Внутри данные будут храниться без обратной косой черты, например: {"time": 1432826855000,"host":.......