Прогнозирование с помощью модели H2O MOJO с использованием hex.genmodel API

Question

В настоящее время я пытаюсь выяснить, как я могу загрузить сохраненную модель H2O MOJO и использовать ее в Spark DataFrame без использования Sparkling Water. Подход, который я пытаюсь использовать, состоит в том, чтобы загрузить h2o-genmodel.jar файл, когда Spark запускается, а затем использовать, а затем использовать PySpark's Py4J интерфейс для доступа к нему. Мой конкретный вопрос будет о том, как получить доступ к значениям, генерируемым py4j.java_gateway объекты.

Ниже приведен минимальный пример:

Модель поезда

import h2o
from h2o.estimators.random_forest import H2ORandomForestEstimator
import pandas as pd
import numpy as np

h2o.init()

features = pd.DataFrame(np.random.randn(6,3),columns=list('ABC'))
target = pd.DataFrame(pd.Series(["cat","dog","cat","dog","cat","dog"]), columns=["target"])
df = pd.concat([features, target], axis=1)
df_h2o = h2o.H2OFrame(df)

rf = H2ORandomForestEstimator()
rf.train(["A","B","C"],"target",training_frame=df_h2o, validation_frame=df_h2o)

Сохранить MOJO

model_path = rf.download_mojo(path="./mojo/", get_genmodel_jar=True)
print(model_path)

Загрузить MOJO

from pyspark.sql import SparkSession

spark = SparkSession.builder.config("spark.jars", "/home/ec2-user/Notebooks/mojo/h2o-genmodel.jar").getOrCreate()

MojoModel = spark._jvm.hex.genmodel.MojoModel
EasyPredictModelWrapper = spark._jvm.hex.genmodel.easy.EasyPredictModelWrapper
RowData = spark._jvm.hex.genmodel.easy.RowData

mojo = MojoModel.load(model_path)
easy_model = EasyPredictModelWrapper(mojo)

Прогнозирование на одной строке данных

r = RowData()
r.put("A", -0.631123)
r.put("B", 0.711463)
r.put("C", -1.332257)

score = easy_model.predictBinomial(r).classProbabilities

Итак, что далеко я смог сделать. Проблема в том, что мне трудно понять, что score возвращает мне. print(score) дает следующее: <py4j.java_gateway.JavaMember at 0x7fb2e09b4e80>, Предположительно должен быть путь к фактическим сгенерированным значениям из этого объекта, но как мне это сделать?

Answer 1

Вы можете найти возвращенный объект здесь. classProbabilities является массивом Java, и массивы Java не имеют toString Именно поэтому ваш оператор print возвращает что-то нечитаемое человеком.

Одним из способов доступа к этому значению будет использование py4j

например это должно работать:

for i in easy_model.predictBinomial(r).classProbabilities:
...     print(i)

или вы можете скрыть его в список.