py4j из pyspark - ошибка launch_gateway()
Шаг 1 - Я создал банку из примера кода Java - MyPythonGateway.jar
Класс Java
import py4j.GatewayServer;
public class MyPythonGateway{
public int findMyNum(String input){
return(1);
}
public static void main(String[] args){
GatewayServer server = new Gatewayserver(new MyPythonGateway())
server.start();
}
}
Шаг 2 - Я вызываю pyspark, упоминая этот jar- MyPythonGateway.jar в executor.extraClassPath и driver.extraClassPath
pyspark запускается хорошо.
Шаг 3. Попытка вызвать Java-код из pyspark.
Ошибка: Py4jNetworkError: Ошибка при попытке подключения к серверу Java (127.0.0.1:25335)
Я также использовал другие порты - 25340, 25338, но каждый раз получал одну и ту же ошибку