apache-spark

英文: What is partition in Spark? 问题 我正在努力理解，Spark 中的分区是什么？ 我的理解是，当我们从源中读取数据并放入任何特定的“数据集”时，那个数据集可以被分割成...

英文: Spark : what does "expr" mean? 问题 我正在学习使用Java中的Spark，我注意到要添加一列，我们可以使用 dataset.withColu...

英文: create dataframe from map in spark java API 问题 我正尝试在Java API中使用Spark SQL，下面这段简单的代码（从官方指南复制：https...

英文: explode an spark array column to multiple columns sparksql 问题 我有一个类型为Value的列，定义如下： val Value: Ar...

英文: I know how to do an orderBy("a", "b"...), a groupBy on a dataset. I need to ...

英文: Maven dependency “Cannot resolve symbol VectorAssembler'” in IntelliJ IDEA 问题 IntelliJ IDEA无...

英文: Apply java funciton URLDecoder.decode to whole column in Spark 3 问题 我有一个包含URL编码字符串的数据帧列，例如： 我想要做...

英文: How to filter Logs from the Spark log4j-defaults.properties file in IntelliJ 问题 我正在使用IntelliJ和Ma...

英文: Can you run an Java-Spark application (desktop) in a multi-cluster node 问题 我已经在Java中实现了一个脚本，用Apa...

英文: Spark v3.0.0 - WARN DAGScheduler: broadcasting large task binary with size xx 问题 我对Spark还不太了解。我正...