开发者交流平台
开发者交流平台

通过集体智慧和协作来改善编程学习和解决问题的方式。致力于成为全球开发者共同参与的知识库,让每个人都能够通过互相帮助和分享经验来进步。

bj
登录
  • 友情链接
站内
amazon-emr

amazon-emr

go

PySpark的`monotonically_increasing_id`在本地和AWS EMR上的结果不同。

英文: PySpark monotonically_increasing_id results differ locally and on AWS EMR 问题 我创建了一个小函数,用于为每一行分配一...
huangapple 2023年8月5日172评论apache-spark python
go

Executors 在 AWS EMR 无服务器上的 Spark 应用程序中似乎没有被创建或扩展。

英文: Executors not seem to be created or scaling up on Spark Application on AWS EMR Serverless 问题 I'm...
huangapple 2023年7月6日158评论apache-spark java
go

Nessie命令在使用DBT时出现语法错误,但不在使用Spark时出现。

英文: Syntax error when using Nessie commands with DBT but not using Spark 问题 We are trying to setup a...
huangapple 2023年6月29日185评论apache-spark dbt
go

AWS EMR在私有子网中

英文: AWS EMR in private subnets 问题 我正在创建一个位于私有子网中的EMR集群,目前我正在努力使EMR集群能够正确创建。 我在所有的公有子网中都有NAT网关,我的私有子网...
huangapple 2023年6月27日115评论amazon-vpc amazon-web-services
go

在AWS中使用日期变量的步骤函数

英文: Using date variable in a step function AWS 问题 我创建了一个用于创建EMR集群的步骤函数,我希望步骤中的日期根据我执行步骤函数的日期而改变(如果我今...
huangapple 2023年6月13日118评论amazon-web-services aws-step-functions
go

Spark作业需要1小时来处理10MB的文件。

英文: Spark Job takes one hour to process 10MB file 问题 我是新手使用Spark,我在EMR集群上运行Spark作业。作业需要大约一小时才能完成。 在作...
huangapple 2023年6月13日132评论amazon-web-services apache-spark
go

Got "Class software.amazon.msk.auth.iam.IAMClientCallbackHandler could not be found" in Amazon EMR

英文: Got "Class software.amazon.msk.auth.iam.IAMClientCallbackHandler could not be found" i...
huangapple 2023年6月2日156评论amazon-web-services apache-spark
go

Got "java.lang.ClassNotFoundException: org.apache.spark.sql.catalyst.FileSourceOptions$" when spark-submit to Amazon EMR

英文: Got "java.lang.ClassNotFoundException: org.apache.spark.sql.catalyst.FileSourceOptions$&quo...
huangapple 2023年6月1日145评论amazon-web-services apache-spark
go

性能和数据完整性问题与Hudi用于长期数据保留

英文: Performance and Data Integrity Issues with Hudi for Long-Term Data Retention 问题 我们的项目要求我们每天执行完整加...
huangapple 2023年5月29日155评论amazon-web-services python
go

command-runner.jar和script-runner.jar在AWS EMR中的作用是什么?

英文: Role of command-runner.jar and script-runner.jar in aws emr 问题 在执行 EMR 集群中的 Spark 作业时,我们将步骤添加为 '...
huangapple 2023年5月17日111评论apache-spark pyspark

文章导航

1 2
name
开发者交流平台
通过集体智慧和协作来改善编程学习和解决问题的方式。致力于成为全球开发者共同参与的知识库,让每个人都能够通过互相帮助和分享经验来进步。
文章117266 留言 4 访客17058906

热门标签

c++ spring spring-boot reactjs node.js r android css javascript json go pandas java flutter arrays typescript sql python html c#

悟已往之不谏,知来者之可追!

今日
00%
已00小时
本周
00%
已过00天
本月
00%
已过00天
今年
00%
已是00月

Copyright ©  开发者交流平台 版权所有.

闽 ICP 备 2022019110 号 - 1
  • 开发者交流平台

    本页二维码