apache-spark

英文: how to parse a list (represented as a string) in pyspark? 问题 使用Pyspark，我正在加载一个具有非常简单结构的Parquet文件...

英文: How to convert string like "yyyy-MM-ddThh:mm:ss+XXXX" to proper date_format in Spark? ...

英文: convert dataframe to dictionary pyspark 问题 我有一个表格，如下所示 |item_name|item_value|timestamp |idx|desc...

英文: In spark (2.4 and above), how to completely "redact" ALL sensitive information 问题 在 (p...

英文: How to convert string type to timestamp in pyspark? 问题 我在努力将基于字符串类型的日期转换为时间戳，如下所示。 我有以下的字符串类型，找到...

英文: Using JSON_EXTRACT or JSON_EXTRACT_SCALAR in Presto SQL or Scala 问题 SELECT id, MAX(CAST(json_ext...

英文: Externalize Spark Configurations 问题 我需要将我们的job.conf文件中的Spark配置外部化，以便它们可以从外部位置读取，并仅在运行时在该外部位置进行修改...

英文: Read in non-standard JSON format with pyspark 问题 抱歉，无法识别代码并提供翻译。如果您有其他需要翻译的文本，请随时提问。 英文: I have ...

英文: PySpark: make DataFrame no longer accessible 问题 我的目标是编写两个函数capture和release，它们以PySpark DataFrame作...

英文: Explode a nested array into new columns using Java Spark 问题 以下是翻译好的代码部分： 我有一个嵌套数组，我想把其中的所有元素放入新的...