Описание тега py4j
Py4J enables Python programs to dynamically access arbitrary Java objects
1
ответ
Java InputStream для Python (PY4J)
Я запускаю Java-код в Python, используя PY4J ( http://py4j.sourceforge.net/). Моя функция Java возвращает InputStream, и я хотел бы манипулировать им в моем коде Python: Java-код: public InputStream getPCAP(key) { InputStream inputStream = cyberStor…
17 сен '14 в 12:53
1
ответ
Импорт py4j с использованием Eclipse
Я прочитал первую часть введения в py4j.org, а затем перешел к разделу Eclipse. Я установил плагины Eclipse, найденные здесь: http://eclipse.py4j.org/ и перезапустил Eclipse впоследствии. У меня есть класс в существующем Java-проекте, известном как …
02 июн '16 в 15:26
1
ответ
Как просмотреть импортированные классы из шлюза py4j
Рассмотрим следующий код инициализации шлюза py4j: from py4j.java_gateway import java_import, JavaGateway, GatewayClient gateway = JavaGateway(GatewayClient(port=gateway_port), auto_convert=False) java_import(gateway.jvm,'org.apache.hadoop.hbase.cli…
16 дек '14 в 23:35
0
ответов
Как использовать PySpark UDF в проекте Scala Spark?
Несколько человек ( 1, 2, 3) обсуждали использование UDF Scala в приложении PySpark, обычно из соображений производительности. Меня интересует обратное - использование Python UDF в проекте Scala Spark. Я особенно заинтересован в создании модели с ис…
18 авг '18 в 16:30
1
ответ
В обоих случаях, Java <=> Python, общение с использованием py4j
Я использую py4j для связи между python и java. Я могу вызывать метод python со стороны java. Но из Python я не могу отправить какой-либо объект или вызвать метод Java. Вот код, который я пробовал. мой java код: public interface IHello { public Stri…
24 май '17 в 05:42
1
ответ
Прогнозирование с помощью модели H2O MOJO с использованием hex.genmodel API
В настоящее время я пытаюсь выяснить, как я могу загрузить сохраненную модель H2O MOJO и использовать ее в Spark DataFrame без использования Sparkling Water. Подход, который я пытаюсь использовать, состоит в том, чтобы загрузить h2o-genmodel.jar фай…
06 дек '18 в 10:53
5
ответов
pyjnius "Класс не найден" при импорте файла JAR
Я пытаюсь заставить Pyjnius работать с файлом JAR, который я создал из Java-приложения, но получаю сообщение об ошибке "Class not found": >>> import os >>> os.environ['CLASSPATH'] = "~/workspace/myapp-Tools/Admin/Console/couchdb/my…
15 янв '15 в 21:34
0
ответов
Как бороться с Py4JJavaError, когда я использую pyspark для создания формата libsvm с помощью MLUtils.saveAsLibSVMFile?
Теперь у меня есть RDD LabeledPoint с именем dd. Моя версия Python 3.5.2 и версия pyspark 2.0.1. Я использую Anaconda Spyder для запуска кода Pyspark. печати (dd.take(2)) [LabeledPoint(-0,05643994211287995, [+0,0142684401451,-0,0072049689441,-0,9291…
29 мар '18 в 15:00
0
ответов
Укрепление обучения в Python против Java
У меня есть среда моделирования в Java, и я хочу интегрировать ее с рамкой обучения подкрепления. У меня есть варианты реализовать все в Java, включая RL, или я могу использовать оболочки для вызова RL, реализованного в Python. Первый вариант прост …
28 ноя '18 в 08:33
1
ответ
Как добавить пользовательские диалекты JDBC в PySpark
У меня есть собственный диалект JDBC в Scala, который работает безупречно registerDialect метод в Scala Spark API. Я надеялся использовать тот же класс в PySpark, получив к нему доступ через sc._jvm.org.apache.spark.sql.jdbc.JdbcDialects.registerDia…
07 авг '18 в 17:03
2
ответа
Как добавить SparkListener из pySpark в Python?
Я хочу создать расширение Jupyter/IPython для мониторинга рабочих мест Apache Spark. Spark предоставляет REST API. Однако вместо опроса сервера я хочу, чтобы обновления событий отправлялись через обратные вызовы. Я пытаюсь зарегистрировать SparkList…
20 май '17 в 07:05
0
ответов
Использование jar-файлов с PySpark
Я пытаюсь использовать Scala-версию распространяемого XGBoost на spark в python. Для этого я поместил файлы jar - xgboost4j-spark-0.80.jar и xgboost4j-0.80.jar в spark/jars, Это реализация, которую я использую для доступа к классам XGBoost class Jav…
19 ноя '18 в 05:52
0
ответов
PY4J с дженериками
Со следующим определением класса: class MyClass[T : ClassTag]{ def this(stuff : T){ // .... } } PY4J выдаст следующую ошибку: py4j.protocol.Py4JError: An error occurred while calling None.MyClass. Trace: py4j.Py4JException: Constructor MyClass([clas…
10 авг '15 в 15:31
1
ответ
Py4j Исключения при запуске приложения на сервере
Я создал приложение, использующее py4j, которое позволяет сохранять данные из python в базу данных SQL с помощью java-приложения, все работает так хорошо, когда я запускаю JVM как приложение, и на самом деле сохраняет данные. Но когда я запускаю код…
14 дек '15 в 16:19
0
ответов
Компиляция Py4J: не удается найти символ GatewayServer
Я пытаюсь вызвать функцию Java через Python, используя Py4J. Но сначала мне нужно скомпилировать код Java. Я использую Документацию Py4J. Java-код: import py4j.GatewayServer; public class AdditionApplication { public int addition(int first, int seco…
22 дек '18 в 11:50
1
ответ
Py4Java: ImportError: нет модуля с именем numpy при запуске оболочки Python для Apache Spark
Я пытаюсь следовать живому кодированию в этом выступлении Apache Spark Вот мой блокнот IPython, вплоть до момента, когда я сталкиваюсь с ошибкой: так что numpy установлен: ~ $ pip install numpy Requirement already satisfied (use --upgrade to upgrade…
02 фев '15 в 02:50
1
ответ
java.util.HashMap отсутствует в сеансе PySpark
Я работаю с Apache Spark 1.4.0 на Windows 7 x64 с Java 1.8.0_45 x64 и Python 2.7.10 x86 в IPython 3.2.0 Я пытаюсь написать программу на базе DataFrame в записной книжке IPython, которая выполняет чтение и запись в базу данных SQL Server. Пока я могу…
14 июл '15 в 21:23
0
ответов
py4j из pyspark - ошибка launch_gateway()
Шаг 1 - Я создал банку из примера кода Java - MyPythonGateway.jar Класс Java import py4j.GatewayServer; public class MyPythonGateway{ public int findMyNum(String input){ return(1); } public static void main(String[] args){ GatewayServer server = new…
21 янв '19 в 04:21
0
ответов
Невозможно передать производный объект из Python в Java в Py4J через метод java, когда базовый объект ожидается в качестве параметра
У меня есть базовый класс A и его производный класс B. У меня есть метод Java, который принимает объект базового класса A. Когда я вызываю этот метод из Py4J, передавая объект производного класса, Py4J выбрасывает Метод не существует, исключение в p…
26 янв '19 в 01:59
0
ответов
Py4j не может подключиться к серверу Java
Я пытался написать простую программу для установки соединения между python и java с использованием py4j. Я написал следующие две строки, надеясь, что все будет работать, так как я не делаю никаких изменений from py4j.java_gateway import JavaGateway,…
13 дек '18 в 10:06