apache-spark-sql

apache-spark-sql

go

“半音声” 日语字符的转换

英文: Conversion of Japanese "semi-voice" character 问题我正在尝试比较两个包含日文字符的 Spark DataFrame，其中有一...

2020年10月10日135评论

go

火花广播变量 Map 给出了空值

英文: spark broadcast variable Map giving null value 问题我正在使用Java 8和Spark版本2.4.1。我试图使用广播变量Map进行查找，如下所...

2020年9月22日151评论

go

如何在Java中按照列的组合对Spark DataFrame 进行排序？

英文: How to sort spark dataframe on the combination of columns in Java? 问题我在Java中有一个Spark数据帧，类似下面这样：...

2020年9月17日140评论

go

用Spark Java API从映射中创建数据帧。

英文: create dataframe from map in spark java API 问题我正尝试在Java API中使用Spark SQL，下面这段简单的代码（从官方指南复制：https...

2020年9月13日138评论

go

将一个 Spark 数组列在 Spark SQL 中展开为多个列

英文: explode an spark array column to multiple columns sparksql 问题我有一个类型为Value的列，定义如下： val Value: Ar...

2020年9月13日140评论

go

MicroBatchExecution: Query terminated with error UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z

英文: MicroBatchExecution: Query terminated with error UnsatisfiedLinkError: org.apache.hadoop.io.nati...

2020年8月21日166评论

go

如何在Spark SQL中格式化整数？

英文: How to format integer in Spark SQL? 问题我对Spark还不熟悉。任何帮助将不胜感激。在Spark SQL中是否有sql的FORMAT()的替代方法。我的核...

2020年8月19日143评论

go

不允许设置 spark.sql.warehouse.dir，应该在跨会话使用时通过Java静态设置。

英文: Not allowing to set spark.sql.warehouse.dir , it should be set statically for cross-session usag...

2020年8月17日143评论

go

将元组转换为Spark中的矩阵。

英文: Transform tuple to matrix in Spark 问题 I have an RDD列表，其中包含元组和值，看起来像这样。有成千上万种不同的配对。 (A, B), 1 (B,...

2020年8月12日140评论

go

“WrappedArray$ofRef cannot be cast to String” 在 Java Spark 中的异常。

英文: "WrappedArray$ofRef cannot be cast to String" Exception in Java Spark 问题在Spark Java编写...

2020年8月12日145评论

14