python json_normalize отбрасывает значения при сглаживании
Вот что я делаю, конечная цель - получить плоский файл csv:
- получить XML-файл из API
- преобразовать в фреймворк pandas --- множество уровней упорядоченных данных
- json_normalize фреймворк, чтобы у меня был плоский файл со столбцами и значениями
- Затем я использую to_csv в нормализованном фрейме данных - вот наблюдения на этом шаге -a. csv создается с сглаженными данными, как и ожидалось, все уровни сглаживаются, как и ожидалось. я получаю 47k записей, как исключение - все выглядит хорошо! б. вот большая проблема : около 4k записей, где первые 10 полей пусты, а остальные заполнены. Я думаю, что в этих записях могут быть повторяющиеся значения в первых нескольких полях, но странно, что строка не отбрасывается, отсутствуют только первые 10 значений. Обратите внимание, что в файле 236 столбцов.
Я столько всего пробовал, но ничего не помогает. Я пробовал перебирать список вложенных упорядоченных диктовок, но это не сработало на разных уровнях.
любые советы будут полезны !!