英文:
Move dependent jars to Worker Node
问题
我有一个Spark程序，其中还使用了一些外部的jar包。在编写程序后，通过Maven构建创建了一个jar包，然后将其提交到Spark。
我有一个疑问，我有一个由5个节点组成的集群。
一旦我将我的Spark代码jar包提交给spark-submit，那么我是否需要将我依赖的jar包也复制到工作节点上？
请问我可以了解一下依赖jar包的传输是如何工作的吗？
英文:
I've one spark program and within that am using some external jars too. After writing a program, created a jar from maven build and will submit to spark.
Have one doubt, I've 5 node cluster.
Once I submit my spark code jar to spark-submit, then Do I need to copy my dependent's jar too to worker nodes ?
May I know please how movement of dependent jar works ?
答案1
得分: 1
将所需的jar文件列表用：分隔，并传递给Spark配置属性spark.driver.extraClassPath和spark.executor.extraClassPath。
所需的jar文件将被复制到主节点和工作节点。
--conf "spark.driver.extraClassPath=/lib/<jar_file_a>.jar:/lib/<jar_file_b>.jar" \
--conf "spark.executor.extraClassPath=/lib/<jar_file_a>.jar:/lib/<jar_file_b>.jar" \
[...]
英文:
Pass required jar file list separated by : to spark config properties spark.driver.extraClassPath & spark.executor.extraClassPath.
Required jars will be copied to both master & worker nodes.
spark-submit \
--conf "spark.driver.extraClassPath=/lib/<jar_file_a>.jar:/lib/<jar_file_a>.jar" \
--conf "spark.executor.extraClassPath=/lib/<jar_file_a>.jar:/lib/<jar_file_a>.jar" \
[...]
通过集体智慧和协作来改善编程学习和解决问题的方式。致力于成为全球开发者共同参与的知识库，让每个人都能够通过互相帮助和分享经验来进步。
评论