英文: Data concatenation issue In Azure Databricks 问题 以下是翻译好的部分： Source Data 期望结果 解释： 场景1：如果对于一个ID，我有3...
64评论pyspark
sql
In spark dataframe add columns to from one df to another without creating combination of matching rows
AttributeError: ‘DataFrame’对象没有’iteritems’属性。
小数精度超过最大精度，尽管小数具有正确的大小和精度。
英文: Decimal precision exceeds max precision despite decimal having the correct size and precision 问题...
118评论apache-spark
python
如何使用多列作为嵌套字典的映射，以创建新的数据框列？
英文: How to use multiple columns as maps for nested dictionary to create a new dataframe column? 问题 我...
60评论dataframe
dictionary
将Spark SQL转换为Python Spark / Databricks管道事件日志。
英文: Convert spark sql to python spark / Databricks pipeline event logs 问题 我有以下的SQL语句用于查询Databricks管道...
67评论apache-spark
pyspark
从数据框中选择随机行。
英文: select random rows from the dataframe 问题 我有三个数据框，已经连接在一起创建成一个单一的数据框。 df_1 = df_1.withColumn('...
62评论apache-spark
pyspark
Spark无法处理特定的日期格式。
英文: Spark is unable to handle a particular date format 问题 我正在尝试使用Pyspark从字符串类型字段中转换多个日期格式。当我使用以下日期格式...
61评论apache-spark
pyspark
查找数据框写入 ADLS 路径所需的总时间。
英文: Finding total time it takes for dataframe write in ADLS path? 问题 我在循环中编写了100+个数据框。如何记录单个数据框写入ADL...
55评论apache-spark
pyspark
删除或标记，在pyspark中记录具有最大日期的记录。
英文: Delete or mark, record with max date in pyspark 问题 我是新手使用 Databricks，我尝试使用 "drop duplicate&...
55评论databricks
pyspark
38