将字符串转换为时间戳在PySpark或SparkSQL中

huangapple go评论58阅读模式
英文:

Converting string to timestamp in PySpark or SparkSQL

问题

我在SparkSQL中将字符串转换为时间戳方面遇到了困难。

以下是我的代码:

to_timestamp(date_time_column, 'MM/dd/yyyy HH:mm:ss.SSSSSS')

它返回了null。参数'MM/dd/yyyy HH:mm:ss.SSSSSS'肯定有问题。

来自date_time_column的示例字符串数据:05/30/2023 20:28:41.6487480Z

有人可以帮忙纠正上面的代码吗?

非常感谢 将字符串转换为时间戳在PySpark或SparkSQL中

英文:

I am struggling converting a string to timestamp in SparkSQL.

Here is my code:

to_timestamp(date_time_column, 'MM/dd/yyyy HH:mm:ss.SSSSSS')

It returns null. Something must be wrong with the parameter 'MM/dd/yyyy HH:mm:ss.SSSSSS'

Sample string data from date_time_column: 05/30/2023 20:28:41.6487480Z

Can someone help correct the above code?

Big Thank You 将字符串转换为时间戳在PySpark或SparkSQL中

答案1

得分: 1

尝试使用 to_timestamp 中的 MM/dd/yyyy HH:mm:ss.SSSSSSSX 格式。

示例:

spark.sql("select to_timestamp('05/30/2023 20:28:41.6487480Z','MM/dd/yyyy HH:mm:ss.SSSSSSSX') as ts").show(10, False)
#+--------------------------+
#|ts                        |
#+--------------------------+
#|2023-05-30 20:28:41.648748|
#+--------------------------+
英文:

Try with MM/dd/yyyy HH:mm:ss.SSSSSSSX format in to_timestamp.

Example:

spark.sql("""select  to_timestamp('05/30/2023 20:28:41.6487480Z','MM/dd/yyyy HH:mm:ss.SSSSSSSX') as ts""").show(10,False)
#+--------------------------+
#|ts                        |
#+--------------------------+
#|2023-05-30 20:28:41.648748|
#+--------------------------+

huangapple
  • 本文由 发表于 2023年6月8日 03:13:04
  • 转载请务必保留本文链接:https://go.coder-hub.com/76426431.html
匿名

发表评论

匿名网友

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen:

确定