apache-spark

英文: why sbt doesn't compile the code and the main libraries aren't even recognised? 问题 This ...

英文: error while loading data from S3 using Spark 问题 我在使用Spark从S3加载数据时遇到了一个错误。首先，这是我的代码： # Chargement...

英文: Split spark dataset based on number of rows 问题 我正在从 DynamoDB 中读取数据，并将其存储在 Spark 的 Dataset 中，代码如下...

英文: How can I unpivot two sets of columns in Spark? 问题 我正在寻找将两组列解压缩以使其变为： 我尝试使用stack函数解压两组列，但我只能解压一组...

英文: Upgrade to spark 3.4.0 from 3.3.2 gives Exception in thread "main" java.nio.file.NoSuc...

英文: How to register a StreamingListener with SparkSession? 问题 我有一个结构化流应用程序，我想要向其注册一个StreamingListene...

英文: Adding hive and hadoop jars to IntelliJ project 问题 我最近试图在本地运行一些单元测试（Spark-Scala 项目），遇到了以下问题： Cla...

英文: Spark: How much executor memory is available for application use? 问题 我正在编写一个处理内存中数据“块”的算法。我正在使用J...

英文: PySpark / Snowpark calculate running sum between two given dates 问题 使用这个示例表格： id 销售额 销售日期 1 10 2...

英文: Spark session value not updating 问题 我正在使用以下代码设置Spark会话值： spark = (SparkSession .builder .appName...