apache-spark

英文: spark SAVEASTEXTfile is taking lot of time - 1.6.3 问题 从Mongo中提取数据。处理数据，然后将数据存储在HDFS中。 提取和处理100万条...

英文: Scala error handling - if a part of my Scala code fails, I want to execute a function() as part ...

英文: Interoperability : sharing Datasets of objects or Row between Java and Scala, two ways. I put a ...

英文: spark broadcast variable Map giving null value 问题 我正在使用Java 8和Spark版本2.4.1。 我试图使用广播变量Map进行查找，如下所...

英文: spark-submit does not find class (while class is being contained in jar) 问题 我正在构建一个非常简单的HelloWor...

英文: Spark: Memory not released after unpersist 问题 非常简单，我在一个由17个节点组成的集群上使用Spark 2.4.3，我有一个需要持久化的数据集（D...

英文: AWS Lambda with spark library gives OutOfMemoryError 问题 以下是您要翻译的内容： 我正在尝试在我的AWS Lambda中使用以下Spark...

英文: How to sort spark dataframe on the combination of columns in Java? 问题 我在Java中有一个Spark数据帧，类似下面这样：...

英文: How to convert a struct field in a Row to an avro record in Spark Java 问题 MyStruct convertToAvro...

英文: Hive 3.1.2 UDAFs not working in Spark 3.0.0 问题 pyspark.sql.utils.AnalysisException: 对 UDF/UDAF/U...