英文: Reference 'unit' is ambiguous, could be: unit, unit 问题 以下是翻译好的内容: 我正在尝试从S3存储桶加载所有传入的Parq...
如何在Spark中对DataSet进行窗口子采样?
英文: How to subsample windows of a DataSet in Spark? 问题 假设我有一个看起来像这样的 DataSet: 姓名 | 成绩 --------------...
巨大的时间间隔在 Spark 作业之间。
英文: Huge time gap between spark jobs 问题 我在一个名为df1的DataFrame上执行了以下操作并持久化: df1.persist(从Spark UI的存储选项卡...
将数据流式传输到 Delta Lake,读取经过筛选的结果。
英文: Streaming data into delta lake, reading filtered results 问题 我的目标是将传入的Parquet文件持续放入Delta Lake中,进行...
如何在Spark Kafka流中创建消费者组并将消费者分配给消费者组。
英文: How can make consumer group in spark kafka stream and assign comsumers to consumer group 问题 我有一个...
Java Spark – 如何从 JSON 对象生成 StructType
英文: Java Spark - how to generate structType from a json object 问题 以下是翻译好的内容: 如何在Java中从JSON对象创建结构类型的s...
Java Spark withColumn – 自定义函数
英文: Java Spark withColumn - custom function 问题 问题,请在Java中提供任何解决方案(不要用Scala或Python) 我有一个包含以下数据的DataFr...
a MapType causes an AnalysisException in Spark 3.x : Encoders.bean to an object containg a map<String, someClass> fails, that works fine in Spark 2.4
英文: a MapType causes an AnalysisException in Spark 3.x : Encoders.bean to an object containg a map&l...
将字符串数组的数组转换为Java中的Spark DataFrame字符串数组数组
英文: Convert array of array of strings to a spark dataframe of array of strings in java 问题 我试图将 strin...
使用Spark进行“WHERE IN”子句,我如何仅保留我的第一个数据集的列?
英文: Doing a "WHERE IN" clause with Spark, how may I retrain only the columns of my first d...
49