将依赖的 JAR 包移至工作节点

huangapple go评论73阅读模式
英文:

Move dependent jars to Worker Node

问题

我有一个Spark程序,其中还使用了一些外部的jar包。在编写程序后,通过Maven构建创建了一个jar包,然后将其提交到Spark。

我有一个疑问,我有一个由5个节点组成的集群。

一旦我将我的Spark代码jar包提交给spark-submit,那么我是否需要将我依赖的jar包也复制到工作节点上?

请问我可以了解一下依赖jar包的传输是如何工作的吗?

英文:

I've one spark program and within that am using some external jars too. After writing a program, created a jar from maven build and will submit to spark.

Have one doubt, I've 5 node cluster.

Once I submit my spark code jar to spark-submit, then Do I need to copy my dependent's jar too to worker nodes ?

May I know please how movement of dependent jar works ?

答案1

得分: 1

将所需的jar文件列表用分隔,并传递给Spark配置属性spark.driver.extraClassPathspark.executor.extraClassPath

所需的jar文件将被复制到主节点和工作节点。

--conf "spark.driver.extraClassPath=/lib/<jar_file_a>.jar:/lib/<jar_file_b>.jar" \
--conf "spark.executor.extraClassPath=/lib/<jar_file_a>.jar:/lib/<jar_file_b>.jar" \
[...]
英文:

Pass required jar file list separated by : to spark config properties spark.driver.extraClassPath & spark.executor.extraClassPath.

Required jars will be copied to both master & worker nodes.

spark-submit \
--conf &quot;spark.driver.extraClassPath=/lib/&lt;jar_file_a&gt;.jar:/lib/&lt;jar_file_a&gt;.jar&quot; \
--conf &quot;spark.executor.extraClassPath=/lib/&lt;jar_file_a&gt;.jar:/lib/&lt;jar_file_a&gt;.jar&quot; \
[...]

huangapple
  • 本文由 发表于 2020年5月19日 17:40:13
  • 转载请务必保留本文链接:https://go.coder-hub.com/61887887.html
匿名

发表评论

匿名网友

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen:

确定