英文: How can we load a non delimited text file using spark scala and save it as a CSV file where colu...
如何从Databricks或SQL Databricks获取使用统计信息?
英文: How to get usage statistics from Databricks or SQL Databricks? 问题 我正在寻找一种从Databricks(数据科学与工程和SQL...
PySpark 创建DataFrame列之间的关系
英文: PySpark Create Relationship between DataFrame Columns 问题 我正在尝试实现一些逻辑,以根据以下逻辑获取ID和链接之间的关系。 逻辑 - 如...
Pyspark: 分割和条件语句
英文: Pyspark: Split and conditional statements 问题 # 我尝试创建一个名为"w"的列,如果我分割值,然后创建一个条件表,如果我找到一个带有...
当启用动态分配时,Spark的执行者数量
英文: spark number of executors when dynamic allocation is enabled 问题 I have a r5.8xlarge AWS cluster ...
你可以在Windows上使用预构建的Spark而无需Hadoop吗?
英文: Can I use Spark prebuilt without hadoop on Windows? 问题 我正在生产环境的Unix服务器上使用不带Hadoop的预构建Spark 3.1.3...
在Athena或Spark中的”FIRST_VALUE”
英文: FIRST_VALUE in Athena or Spark 问题 以下是你要的翻译内容: select id ,id2 ,FIRST_VALUE(CASE WHEN app THEN dat...
在SparkApplication资源中的“Volume Mount”不起作用。
英文: Volume Mount in SparkApplication resource not working 问题 我正在尝试在Kubernetes中使用Spark操作符,尝试创建一个具有以下清...
合并 Spark Scala 数据框中的行并应用聚合函数。
英文: Merge rows in spark scala Dataframe and apply aggregate function 问题 我有一个以下的数据框: | notification_i...
如何在PySpark中旋转两列
英文: How to pivot 2 columns in PySpark 问题 这是你需要的结果: id var3 var4 465 var1 1000 465 var2 200 455 var1 ...
49