英文:
EMR serverless- Pass jars in console
问题
我是新手使用 EMR 无服务器，想知道如何在 Spark 应用程序中传递 JAR 文件和包，例如：
spark-submit --deploy-mode client --jars /usr/lib/hudi/hudi-spark3.3-bundle_2.12-0.11.1-amzn-0.jar,/usr/lib/hudi/hudi-utilities-bundle_2.12-0.11.1-amzn-0.jar ...
我想在提交作业时设置，但是找不到如何操作的方法。请有人可以帮助我吗？
英文:
I'm new with EMR-serverless and I want to know how to pass, in a spark application, jar and packages as for example:
spark-submit --deploy-mode client --jars /usr/lib/hudi/hudi-spark3.3-bundle_2.12-0.11.1-amzn-0.jar,/usr/lib/hudi/hudi-utilities-bundle_2.12-0.11.1-amzn-0.jar ...
I want to set when I submit a job but I cannot find a way about how to do it.
Can someone help me with this, please?
答案1
得分: 1
当在控制台上向 EMR 无服务器提交作业，并且希望为 spark-submit 提供额外选项时，您可以使用 "Spark 属性" 部分。不使用 --jars，而是使用 spark.jars 键，并适当设置值。
您的 Spark 应用程序将作为 S3 上的 Python 脚本或 JAR 文件提供，称为 "脚本位置" 即入口点。
另请注意，Hudi 可在 EMR 无服务器镜像上使用，并有一些关于如何在 EMR 无服务器中使用 Hudi 的文档可用。
英文:
When submitting a job to EMR Serverless in the console and you want to provide additional options to spark-submit, you can use the "Spark properties" section. Instead of --jars, you can use the spark.jars key and set the value appropriately.
Your Spark application will be a Python script or JAR file on S3 provided as the "Script location" aka entrypoint.
Also note that Hudi is available on the EMR Serverless image and there's some documentation on using Hudi with EMR Serverless.
通过集体智慧和协作来改善编程学习和解决问题的方式。致力于成为全球开发者共同参与的知识库，让每个人都能够通过互相帮助和分享经验来进步。
评论