Почему я ограничен 1000 строк в SODA API, когда у меня есть ключ приложения

Question

Я пытаюсь загрузить Бюро финансовой защиты потребителей (CFPB) в фрейм данных Pandas в Python 3.4. Мой код работает, однако кажется, что я ограничен 1000 строк через SODA API. Я использую токен приложения и ссылаюсь на URL здесь

df = pd.read_json('http://data.consumerfinance.gov/resource/x94z-ydhh.json?$$app_token=XXXXXXXXXXXXXXXX')

Структура данных идеальна, однако я ограничен только 1000 строками данных (должно быть ближе к 300 000 строкам данных).

Когда я получаю доступ к тому же URL-адресу через браузер (с токеном приложения), кажется, что он тянет только 1000 строк. У меня сложилось впечатление, что с помощью токена приложения вы можете получить доступ ко всему набору данных, это неправильно?

Answer 1

Проверьте документы на $limit параметр

Параметр $limit контролирует общее количество возвращаемых строк и по умолчанию равен 1000 записей на запрос.

Примечание. Максимальное значение для $limit составляет 50 000 записей, и если вы превысите этот лимит, вы получите ответ 400 Bad Request.

Таким образом, вы просто возвращаете количество записей по умолчанию.

Вы не сможете получить все 300 000 записей за один вызов API - это займет несколько вызовов с использованием$limitвместе с$offset

Пытаться:

http://data.consumerfinance.gov/resource/x94z-ydhh.json?$limit=50000&$$app_token=XXXXXXXXXXXXXXXX