Как лучше сгладить данные NDJson в Python
У меня есть огромный файл (>400 МБ) данных в формате NDJson, и я хотел бы преобразовать его в формат таблицы для дальнейшего анализа.
Я начал перебирать различные объекты вручную, но некоторые из них довольно глубоки и могут даже со временем меняться, поэтому я надеялся на более общий подход.
Я был уверен, что lib pandas предложит что-то, но не смог найти ничего, что могло бы помочь моему делу. Кроме того, некоторые другие библиотеки, которые я обнаружил, похоже, не "полностью" дают то, на что я надеялся (flatten_json). Все это кажется очень рано.
Возможно ли, что сейчас нет хорошего (быстрого и простого) решения для этого?
Любая помощь приветствуется
0 ответов
Панды read_json имеет параметр типа bool linesустановите значение True, чтобы читать ndjsons
data_frame = pd.read_json('ndjson_file.json', lines=True)