英文: Copy of Incremental source table with Spark 问题 一个在SQL数据库中的源表每秒都在增加(新行)。 我想每天运行一些Spark代码(也许使用Stru...
水印在Spark中未显示正确的输出。
英文: Watermark not showing correct output in spark 问题 I am sending streaming data to spark using netc...
通配符字符在读取流.meta文件期间的行为如何?
英文: Wild card character behavior during read stream .meta files? 问题 I am working on real-time stream...
Getting Error for org.apache.spark.sql.Encoder and missing or invalid dependency find while loading class file SQLImplicits, LowPrioritySQLImplicits
英文: Getting Error for org.apache.spark.sql.Encoder and missing or invalid dependency find while load...
将包含字典列表的Spark列拆分为字符串格式。
英文: explode spark column containing list of dict in str format 问题 如何在pyspark中将此流数据帧转换为以下形式: +-------...
如何确保数值映射到正确的增量表列?
英文: How to make sure values are map to the right delta table column? 问题 我正在编写一个 PySpark 作业来读取 table1...
火花广播变量 Map 给出了空值
英文: spark broadcast variable Map giving null value 问题 我正在使用Java 8和Spark版本2.4.1。 我试图使用广播变量Map进行查找,如下所...
使用Java进行Spark文件流检查点。
英文: Checkpoint with spark file streaming in java 问题 我想在Spark文件流应用程序中实现检查点,以便在任何情况下停止/终止我的Spark流应用程序时...
KStream的join立即触发连接函数,如何将其延迟到窗口结束时?
英文: KStream join fires join function instantly, how to delay it at the end of window? 问题 按照综合文章《跨越流的...
SparkSession初始化引发ExceptionInInitializerError错误。
英文: SparkSession initilization throws ExceptionInInitializerError 问题 Sure, here is the translated co...