Исключение в потоке "main" java.lang.NoClassDefFoundError: org/apache/pulsar/client/api/PulsarClient

Question

Я пытаюсь выполнить программу-производитель и потребитель Apache Pulsar через Java, я установил автономный Apache-Pulsar в виртуальной машине GCP и запустил кластер в автономном режиме. Следующий шаг - сборка maven в Windows Eclipse и тот же JAR-файл, который я загрузил в GCP-машину. Когда я выполняю программу-производитель и потребитель в Windows Eclipse, я получаю сообщение об ошибке соединения, которая очевидна, потому что pulsar не установлен в Windows-машине. Но когда я пытаюсь сделать то же самое в экземпляре GCP, даже кластер уже запущен, я получаю ошибку, которая связана с отсутствием ошибки определения класса.

pom.xml >>>

<project xmlns="http://maven.apache.org/POM/4.0.0" 
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 
http://maven.apache.org/xsd/maven-4.0.0.xsd">
<modelVersion>4.0.0</modelVersion>

<groupId>pulsar-client-project</groupId>
<artifactId>pulsar-client-project</artifactId>
<version>0.0.1-SNAPSHOT</version>
<packaging>jar</packaging>

<name>pulsar-client-project</name>
 <url>http://maven.apache.org</url>

<properties>
<java.version>1.8</java.version>
<maven.compiler.source>1.8</maven.compiler.source>
<maven.compiler.target>1.8</maven.compiler.target>
</properties>

<dependencies>
  <dependency>
  <groupId>junit</groupId>
  <artifactId>junit</artifactId>
  <version>3.8.1</version>
  <scope>test</scope>
</dependency>
<dependency>
<groupId>org.apache.pulsar</groupId>
<artifactId>pulsar-client</artifactId>
<version>2.0.1-incubating</version>
</dependency>
</dependencies>
</project>

ProducerTutorial.java >>>

package pulsar_client_project.pulsar_client_project;


import org.apache.pulsar.client.api.CompressionType;
import org.apache.pulsar.client.api.Message;
import org.apache.pulsar.client.api.MessageBuilder;
import org.apache.pulsar.client.api.MessageId;
import org.apache.pulsar.client.api.Producer;
import org.apache.pulsar.client.api.PulsarClient;
import org.apache.pulsar.client.api.PulsarClientException;
//import org.slf4j.Logger;
//import org.slf4j.LoggerFactory;

import java.io.IOException;
import java.util.stream.IntStream;

public class ProducerTutorial {
  //    private static final Logger log = 
LoggerFactory.getLogger(ProducerTutorial.class);
private static final String SERVICE_URL = "pulsar://localhost:6650";
private static final String TOPIC_NAME = "my-topic";

public static void main(String[] args) throws IOException {
    System.out.println("inside main");
    // Create a Pulsar client instance. A single instance can be shared across many
    // producers and consumer within the same application
    PulsarClient client = PulsarClient.builder()
            .serviceUrl(SERVICE_URL)
            .build();
    System.out.println("client.."+client);
    // Here you get the chance to configure producer specific settings
    Producer<byte[]> producer = client.newProducer()
            // Set the topic
            .topic(TOPIC_NAME)
            // Enable compression
            .compressionType(CompressionType.LZ4)
            .create();  

    System.out.println("producer.."+producer);
    // Once the producer is created, it can be used for the entire application life-cycle
   // log.info("Created producer for the topic {}", TOPIC_NAME);

    // Send 10 test messages
    IntStream.range(1, 11).forEach(i -> {
        String content = String.format("hello-pulsar-%d", i);

        // Build a message object
        Message<byte[]> msg = MessageBuilder.create()
                .setContent(content.getBytes())
                .build();

        // Send each message and log message content and ID when successfully received
        try {
            MessageId msgId = producer.send(msg);

            //log.info("Published message '{}' with the ID {}", content, msgId);
        } catch (PulsarClientException e) {
            //log.error(e.getMessage());
        }
    });

    client.close();
  }
 }

ConsumerTutorial >>>>

package pulsar_client_project.pulsar_client_project;

import java.io.IOException;

import org.apache.pulsar.client.api.Consumer;
import org.apache.pulsar.client.api.Message;
import org.apache.pulsar.client.api.PulsarClient;
import org.apache.pulsar.client.api.SubscriptionType;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;

public class ConsumerTutorial {
//private static final Logger log = 
LoggerFactory.getLogger(ConsumerTutorial.class);
private static final String SERVICE_URL = "pulsar://localhost:6650";
private static final String TOPIC_NAME = "my-topic";
private static final String SUBSCRIPTION_NAME = "my-subscription";

public static void main(String[] args) throws IOException {
    // Create a Pulsar client instance. A single instance can be shared 
 across many
    // producers and consumer within the same application
    System.out.println("inside main");
    PulsarClient client = PulsarClient.builder()
            .serviceUrl(SERVICE_URL)
            .build();
    System.out.println("client.."+client);
    // Here you get the chance to configure consumer specific settings. eg:
    Consumer<byte[]> consumer = client.newConsumer()
            .topic(TOPIC_NAME)
            // Allow multiple consumers to attach to the same subscription
            // and get messages dispatched as a queue
            .subscriptionType(SubscriptionType.Shared)
            .subscriptionName(SUBSCRIPTION_NAME)
            .subscribe();

    System.out.println("consumer.."+consumer);
    // Once the consumer is created, it can be used for the entire application lifecycle
    //log.info("Created consumer for the topic {}", TOPIC_NAME);

    do {
        // Wait until a message is available
        Message<byte[]> msg = consumer.receive();

        // Extract the message as a printable string and then log
        String content = new String(msg.getData());
      //  log.info("Received message '{}' with ID {}", content, msg.getMessageId());

        // Acknowledge processing of the message so that it can be deleted
        consumer.acknowledge(msg);
    } while (true);
  }
}

Итак, что является подходящим решением для машины Ubuntu/GCP VM. Что я сделал не так, пожалуйста, дайте мне направление

заранее спасибо

Answer 1

ClassNotFoundException означает, что класс не найден в вашем пути к классам.

Когда вы запускаете локально из Eclipse, классы pulsar-client видны для процесса Java, который вызывается Eclipse при нажатии кнопки запуска. Однако, когда вы запускаете jar на компьютере GCP, вы не включаете классы из pulsar-client jar в ваш путь к классам, и поэтому они отсутствуют:

java -cp pulsar-client-project-0.0.1-SNAPSHOT.jar pulsar_client_project.pulsar_client_project.ConsumerTutorial

Приведенная выше команда утверждает, что classpath для процесса java - это стандартные классы JDK и классы из jar pulsar-client-project-0.0.1-SNAPSHOT и класс для запуска (основной класс) pulsar_client_project.pulsar_client_project.ConsumerTutorial,

Что вам нужно сделать, это предоставить копию jar-адреса pulsar-client на компьютере GCP и включить ее в ваш путь к классам. Например

    java -cp pulsar-client-project-0.0.1-SNAPSHOT.jar:pulsar-client.jar pulsar_client_project.pulsar_client_project.ConsumerTutorial

или же

    java -cp pulsar-client-project-0.0.1-SNAPSHOT.jar;pulsar-client.jar pulsar_client_project.pulsar_client_project.ConsumerTutorial

в зависимости от операционной системы машины GCP (: обычно это разделитель пути в Unix-подобных операционных системах, тогда как ; обычно это разделитель пути в системах Windows). Нечто подобное автоматически выполняется вашим Eclipse при локальном запуске.

Потенциально более простой способ сделать это - включить все зависимости проекта в получившийся файл JAR. Если вы измените ваш пом как:

<project xmlns="http://maven.apache.org/POM/4.0.0"
     xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
     xsi:schemaLocation="http://maven.apache.org/xsd/maven-4.0.0.xsd">
<modelVersion>4.0.0</modelVersion>

<groupId>pulsar-client-project</groupId>
<artifactId>pulsar-client-project</artifactId>
<version>0.0.1-SNAPSHOT</version>
<packaging>jar</packaging>

<name>pulsar-client-project</name>
<url>http://maven.apache.org</url>

<properties>
    <java.version>1.8</java.version>
    <maven.compiler.source>1.8</maven.compiler.source>
    <maven.compiler.target>1.8</maven.compiler.target>
</properties>

<dependencies>
    <dependency>
        <groupId>org.slf4j</groupId>
        <artifactId>slf4j-simple</artifactId>
        <version>1.7.25</version>
    </dependency>
    <dependency>
        <groupId>junit</groupId>
        <artifactId>junit</artifactId>
        <version>3.8.1</version>
        <scope>test</scope>
    </dependency>
    <dependency>
        <groupId>org.apache.pulsar</groupId>
        <artifactId>pulsar-client</artifactId>
        <version>2.0.1-incubating</version>
    </dependency>
</dependencies>
<build>
    <plugins>
        <plugin>
            <groupId>org.apache.maven.plugins</groupId>
            <artifactId>maven-assembly-plugin</artifactId>
            <executions>
                <execution>
                    <phase>package</phase>
                    <goals>
                        <goal>single</goal>
                    </goals>
                    <configuration>
                        <descriptorRefs>
                            <descriptorRef>jar-with-dependencies</descriptorRef>
                        </descriptorRefs>
                    </configuration>
                </execution>
            </executions>
        </plugin>
    </plugins>
</build>

Здесь определен плагин сборки, который будет включать все зависимости в результирующий файл jar target/pulsar-client-project-0.0.1-SNAPSHOT-jar-with-dependencies, Вы можете видеть, что его размер составляет ~25 МБ, тогда как оригинал target/pulsar-client-project-0.0.1-SNAPSHOT.jar ~5 КБ. Вы также можете открыть файлы jar с помощью любой программы-архиватора с поддержкой zip (winzip, peazip, unzip...) и проверить их содержимое, поскольку формат файла jar основан на формате zip-файла.

Теперь, когда вы скопируете больший файл jar на компьютер GCP, вы сможете запустить его следующим образом:

java -cp pulsar-client-project-0.0.1-SNAPSHOT-jar-with-dependencies.jar pulsar_client_project.pulsar_client_project.ConsumerTutorial

или же

    java -cp pulsar-client-project-0.0.1-SNAPSHOT-jar-with-dependencies.jar pulsar_client_project.pulsar_client_project.ProducerTutorial