Как исправить ошибку "NoClassDefFoundError"

Бывает, что при запуске кода через "spark-submit" возникает ошибка "maven Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/spark/streaming/kafka/KafkaUtils".

   Суть ошибки в том, что spark-submit по умолчанию не включает все зависимости. Это также относится и к KafkaUtils. Вам нужно добавить в конфигурационный файл maven-a плагин "maven-assebly" для сборки архива со всеми зависимостями:

<plugin>
<artifactId>maven-assembly-plugin</artifactId>
<configuration>
  <descriptorRefs>
    <descriptorRef>jar-with-dependencies</descriptorRef>
  </descriptorRefs>
  <archive>
    <manifest>
      <mainClass></mainClass>
    </manifest>
  </archive>
</configuration>
<executions>
  <execution>
    <id>make-assembly</id>
    <phase>package</phase>
    <goals>
      <goal>single</goal>
    </goals>
  </execution>
</executions>
</plugin> 

После запуска команды "mvn package" в папке target появится jar архив "example-jar-with-dependencies.jar", который нужно использовать при запуске команды spark-submit.

Полезные ссылки:

Запуск простого Spark приложения на YARN

Apache Kafka - краткое описание