Qubole: Как я могу загрузить результат планировщика в Python?

Question

Как и в случае с заголовком, мне удалось самостоятельно загрузить результат Qubole, используя идентификатор запроса в python, однако есть ли способ загрузить результат, используя идентификатор задания планировщика вместо идентификатора запроса?

Благодарю.

Answer 1

Вы можете использовать пакет Python с именем requests получить доступ к API планировщика

Я все еще не уверен, использует ли мой код лучшие практики Python, так как я все еще использую жестко закодированную фразу per_page=1000000 который получит 1000000 результатов на страницу за запрос

url = 'https://api.qubole.com/api/v1.2/scheduler/{}/actions?per_page=1000000'.format(id)
headers = {'content-type': 'application/json', 'X-AUTH-TOKEN': '<YOUR-TOKEN>'}
r = requests.get(url, headers=headers).json()

json_object=[json.dumps(r.get('actions'))]
jsonRDD = sc.parallelize(json_object)
df = spark.read.json(jsonRDD)

результат вашего планировщика должен быть в столбце command.status