apache-spark

英文: Spark UI reported time of execution plan doesn't match real time by a factor of 3x 问题 我在Data...

英文: Extract Column value into integer 问题 我有一个函数，看起来像这样： static Column getFormattedData(Column name, ...

英文: Copy of Incremental source table with Spark 问题 一个在SQL数据库中的源表每秒都在增加（新行）。 我想每天运行一些Spark代码（也许使用Stru...

英文: Spark streaming forEachBatch giving inconsistent/unordered result while writing to database 问题 问...

英文: Multiple Spark Executors on single GPU 问题 我们正在尝试通过在节点上引入GPU来提高Spark作业的处理性能。但是，在启用了带有GPU的Spark 3之...

英文: Multiple sources found for parquet 问题 我正在尝试在Google Dataproc Spark集群上提交一个Spark应用程序。我收到以下错误： Cause...

英文: Reading pyspark 问题 在databricks笔记本中，我正在创建一个包含年份和月份的源文件夹。 from datetime import datetime now = date...

英文: Spark SQL cannot use current date in subquery 问题 我有一个将日志发布到Spark数据库的流程： 我尝试通过在查询中提供当前日期来使SQL更加动态...

英文: How to Join tables flat with fixed params with Spark SQL 问题 我有一个在Spark中的数据集，其中有一些列。我想要通过保留一些列作为参...

英文: repartition in memory vs file 问题 repartition() 在内存中创建分区，并用作读取操作。partitionBy() 在磁盘上创建分区，并用作写入操作。 ...