Сопоставьте отдельные записи во время пакетных прогнозов с конвейером VertexAI.

Question

У меня есть пользовательская модель в Vertex AI и таблица, в которой хранятся функции модели вместе с record_id.
Я создаю компонент конвейера для пакетного прогнозирования и сталкиваюсь с критической проблемой. Когда я отправляю batch_prediction, я должен исключить record_id для задания, но как я могу сопоставить запись, если в результате у меня нет record_id?

      from google.cloud import bigquery
from google.cloud import aiplatform

aiplatform.init(project=project_id)
client = bigquery.Client(project=project_id)

query = '''
SELECT * except(record_id) FROM `table`
'''
df = client.query(query).to_dataframe()  # drop the record_id and load it to another table 
job = client.load_table_from_dataframe(
    X, "table_wo_id",
) 

clf = aiplatform.Model(model_id = 'custom_model')
clf.batch_predict(job_display_name = 'custom model batch prediction',
                 bigquery_source = 'bq://table_wo_id',
                 instances_format = 'bigquery',
                 bigquery_destination_prefix = 'bq://prediction_result_table',
                 predictions_format = 'bigquery',
                 machine_type = 'n1-standard-4',
                 max_replica_count = 1
                 )

как и в приведенном выше примере, в таблице прогнозирования_результата нет столбца record_id. Невозможно сопоставить результат с каждой записью