Решения обойти записи на параметры страницы?
Поэтому я пытаюсь настроить этот скрипт, который передает эти данные через API в BigQuery.
Все это делается в командной строке, и я уже успешно настроил фреймворк за ним. В частности, настройка файла schema.json.
Когда я запускаю следующее, он успешно загружает:
bq load --source_format=NEWLINE_DELIMITED_JSON --max_bad_records=10 program_users gs://internal/program_user.json program_users_schema.json
Как я уже сказал, это успешно передает в BQ, и это здорово. Но проблема в том, что этот API допускает максимум 50 записей одновременно, когда их более 1000.
РЕДАКТИРОВАТЬ: Первоначальный вызов для получения записей выглядит следующим образом:
$ curl -s https://api.programs.io/users/57f263fikgi33d8ea7ff4 -u 'dG9rOmU5NGFjYTkwXzliNDFfNGIyJ24iYzA0XzU0NDg3MjE5ZWJkZD=': -H 'Accept:application/json'
Будет ли у кого-нибудь решение для этого, в частности, то, что делается в командной строке?