pyspark

英文: How to abort a notebook in DataFactory 问题 我正在尝试编写一个查询来访问数据工厂中的表格。我已经有了函数和查询，它可以正常工作。现在，当代码进入exce...

英文: Unpivot odd no of columns in Pyspark dataframe in databricks 问题 我有69列需要进行解封逆透视，我尝试了这种代码： from py...

英文: Pyspark : creating a Nested json file 问题 { "NewData": [ {"id": "1"...

英文: Aggregate ArrayType column to get another ArrayType column without UDF 问题 我想做的是找到lis列的中位数值，但是要按某...

英文: Spark / Hive: how to get percent of positive values in a column? 问题 有没有SQL函数可以计算Spark / Hive表的列中...

英文: PySpark - avoid data on driver node? 问题 我是新手，正在尝试理解如何编写可以在分布式环境中执行的操作，而不是将大量数据集收集到驱动节点上。 我需要使用ht...

英文: Different number of partitions after spark.read & filter depending on Databricks runtime 问题 ...

英文: PySpark takes a lot of time to write dataFrame to S3 问题 我是你的中文翻译助手，以下是你要翻译的内容： 我对Glue和PySpark还不熟...

英文: Pyspark condition on date column 问题 我有一个包含两个日期列start_date和end_date的pyspark数据框。 现在我想从df中获取start_d...

英文: How to obtain a direct way to differentiate between a full refresh and an incremental update for...