英文: Calculating a new column in spark df based on another spark df without an explicit join column 问...
PySpark 创建DataFrame列之间的关系
英文: PySpark Create Relationship between DataFrame Columns 问题 我正在尝试实现一些逻辑,以根据以下逻辑获取ID和链接之间的关系。 逻辑 - 如...
Pyspark: 分割和条件语句
英文: Pyspark: Split and conditional statements 问题 # 我尝试创建一个名为"w"的列,如果我分割值,然后创建一个条件表,如果我找到一个带有...
合并 Spark Scala 数据框中的行并应用聚合函数。
英文: Merge rows in spark scala Dataframe and apply aggregate function 问题 我有一个以下的数据框: | notification_i...
如何在PySpark中旋转两列
英文: How to pivot 2 columns in PySpark 问题 这是你需要的结果: id var3 var4 465 var1 1000 465 var2 200 455 var1 ...
将字符串 dd.mm.yyyy 转换为日期格式 yyyy-MM-dd,使用 Pyspark。
英文: Converting string dd.mm.yyyy to date format yyyy-MM-dd using Pyspark 问题 我有一列日期,格式为字符串:dd.mm.yyyy...
如何在Scala中使用Spark SQL创建用于读取数据的Predicate
英文: How to create Predicate for reading data using Spark SQL in Scala 问题 I can read the Oracle table...
在Spark 3.2中,当使用大小写混合时与使用相同大小写时,行为会有所不同。
英文: Why different behavior when mixed case are used, vs same case are used in spark 3.2 问题 以下是翻译好的部分...
使用正则表达式提取字符串中的年份,使用pyspark的regexp_extract函数。
英文: extracting year from string using regexp_extract pyspark 问题 这是我的结果的一部分: 1995 2006 2013 2009 1952...
Pyspark 从一列中提取完全连续的4个数字,并将其返回到新列中。
英文: Pyspark extracting exactly 4 consecutive numeric digit from a column and return it in a new colu...
14