apache-spark-sql

英文: Not able to write spark dataframe. Error Found nested NullType in column 'colname' which...

英文: Is there a more efficient way to filter previous month's (or X previous months') data us...

英文: Get correlation matrix for array in a column 问题 我理解你想要的是计算相关性矩阵，交叉id列，不同的天，根据交叉的数量来填充矩阵，如果标签与自身交...

英文: How to convert string like "yyyy-MM-ddThh:mm:ss+XXXX" to proper date_format in Spark? ...

英文: convert dataframe to dictionary pyspark 问题 我有一个表格，如下所示 |item_name|item_value|timestamp |idx|desc...

英文: How to convert string type to timestamp in pyspark? 问题 我在努力将基于字符串类型的日期转换为时间戳，如下所示。 我有以下的字符串类型，找到...

英文: Select only specific part of STRING column 问题 我有一张包含“Description”列的表，我需要查询该表并仅获取“Description”列的特...

英文: PySpark 3 higher order function to extract into columns 问题 我有一个Spark DataFrame的ArrayType列 ~ ['db...

英文: [PySpark][java.lang.StackOverflowError on df.write.csv] 问题 我正在使用 PySpark 版本 3.1.1 在一个 Kubernetes...

英文: How to read selected partitions of in Spark 问题 我有一个以 ldt 列（格式为 YYYY-MM-dd-HH-mm-ss）分区的表，以下是分区的情况...