Редактирование Spark-модуля в Spark-ядре
В настоящее время мы редактируем конкретный модуль в Spark. Мы используем спарк-ядро https://github.com/ibm-et/spark-kernel для запуска всех наших искровых заданий. Итак, мы снова скомпилировали отредактированный код. Это создает файл JAR. Однако мы не знаем, как указать код в файле jar.
Похоже, что он снова ссылается на старый скрипт, а не на вновь отредактированный и вновь скомпилированный. Есть ли у вас какие-либо идеи о том, как изменить некоторые пакеты / модули spark и отразить изменения с помощью spark-kernel? Если мы не собираемся использовать spark-kernel, есть ли способ отредактировать определенный модуль в spark, например, модуль ALS в spark: https://github.com/apache/spark/blob/master/mllib/src/main/scala/org/apache/spark/ml/recommendation/ALS.scala. Спасибо!
1 ответ
Вы, вероятно, отредактировали scala или же java файл и перекомпилированы (даже если вы называете их скриптами, они не являются скриптами в строгом смысле, потому что они не интерпретируются). Предполагая, что это то, что вы сделали....
Возможно, у вас нет чистой замены получающегося файла JAR в тестируемом развертывании. Скорее всего, ваш недавно скомпилированный файл JAR находится где-то, но не в том месте, где вы наблюдаете. Чтобы получить его правильно, вам нужно будет собрать больше, чем JAR-файл, вам нужно будет повторно упаковать его и установить заново.
Существуют и другие методы, если вы можете определить распакованный элемент в установке, иногда вы можете скопировать его на месте; тем не менее, такая техника по своей сути не поддерживается, поэтому я рекомендую ее только после полной проверки изменений, а не в любой системе, которая будет использоваться.
Имейте в виду, что в Spark рабочие узлы иногда развертываются динамически. Если это так, вам, возможно, придется найти устанавливаемую систему динамического развертывания и убедиться, что у вас там тоже есть нужная упаковка.