英文:
Pyspark: Convert date from string format (20220124) to date format
问题
在一个Spark DataFrame中，我想要将日期列 "Date" 从字符串格式（例如：20220124）转换为 2022-01-24 格式，然后再使用Python将其转换为日期格式。
df_new = df.withColumn('Date', to_date(df.Date, 'yyyyMMdd'))
英文:
In a spark dataframe, I will like to convert date column, "Date" which is in string format (eg. 20220124) to 2022-01-24 and then to date format using python.
df_new= df.withColumn('Date',to_date(df.Date, 'yyyy-MM-dd'))
答案1
得分: 1
你可以使用 to_date 函数来完成，该函数接受输入列和日期格式作为参数。
from pyspark.sql import functions as F
df.withColumn('date', F.to_date('date', 'yyyyMMdd'))
英文:
You can do it with to_date function which gets the input col and format of your date.
from pyspark.sql import functions as F
df.withColumn('date', F.to_date('date', 'yyyyMMdd'))
通过集体智慧和协作来改善编程学习和解决问题的方式。致力于成为全球开发者共同参与的知识库，让每个人都能够通过互相帮助和分享经验来进步。
评论