查找数据框写入 ADLS 路径所需的总时间。

huangapple
go评论91阅读模式
英文:

Finding total time it takes for dataframe write in ADLS path?

问题

我在循环中编写了100+个数据框。如何记录单个数据框写入ADLS路径的总持续时间？
我想将这些信息存储在一个表中，以便我可以查看哪个数据框需要优化。

写入TSV到Datalake路径的示例代码：

  1. dataFrame
  2.       .repartition(1)
  3.       .write
  4.       .format("com.databricks.spark.csv")
  5.       .option("header", "true")
  6.       .option("sep", colDelim)
  7.       .option("quoteAll", true)
  8.       .option("escape", "\"")
  9.       .mode("overwrite")
  10.       .save(filePath + fileName)
英文:

I write 100+ dataframes in a loop. How do I log the total duration a single dataframe took to write a CSV in ADLS path?
I would like to store this information in a table where I can check which dataframe needs an optimization.

Sample code to write a TSV to Datalake path:

  1. dataFrame
  2.       .repartition(1)
  3.       .write
  4.       .format("com.databricks.spark.csv")
  5.       .option("header", "true")
  6.       .option("sep", colDelim)
  7.       .option("quoteAll", true)
  8.       .option("escape", "\"")
  9.       .mode("overwrite")
  10.       .save(filePath + fileName)

答案1

得分: 0

以下是您可以使用的pyspark代码来获取每个数据框写入操作的持续时间：

  1. 这里，您可以使用下面的pyspark代码来获取每个数据框写入操作的持续时间。
  3. 我假设您有一个数据框列表。
  5. ```python
  6. import time
  8. log = []
  10. for i, df in enumerate(dataframe_list):
  11.     start_time = time.time()
  13.     df.repartition(1).write.format("csv") \
  14.         .option("header", "true") \
  15.         .option("sep", " ") \
  16.         .option("quoteAll", "true") \
  17.         .option("escape", "\\") \
  18.         .mode("overwrite") \
  19.         .save("/mnt/csv/dataframe_" + str(i))
  21.     end_time = time.time()
  22.     duration = end_time - start_time
  24.     each_df_time = {
  25.         "DF_name": "dataframe" + str(i),
  26.         "time_taken": duration
  27.     }
  28.     log.append(each_df_time)
  30. log_df = spark.createDataFrame(log, schema="DF_name STRING, time_taken DOUBLE")
  31. display(log_df)

输出：

查找数据框写入 ADLS 路径所需的总时间。

  2. Output:
  4. ![在此处输入图像描述](https://i.imgur.com/tQvlfzK.png)
  6. <details>
  7. <summary>英文:</summary>
  9. Here, you can use below pyspark code for getting duration of each dataframe write operation.
  11. I am assuming you are having list of dataframes.
  13.     import time
  14.     
  15.     log = []
  16.     
  17.     for i,df in  enumerate(dataframe_list):
  18. 	    start_time = time.time()
  19. 	    
  20. 	    df.repartition(1).write.format(&quot;csv&quot;) \
  21. 	    .option(&quot;header&quot;, &quot;true&quot;) \
  22. 	    .option(&quot;sep&quot;, &quot; &quot;) \
  23. 	    .option(&quot;quoteAll&quot;, &quot;true&quot;) \
  24. 	    .option(&quot;escape&quot;, &quot;\&quot;&quot;) \
  25. 	    .mode(&quot;overwrite&quot;) \
  26. 	    .save(&quot;/mnt/csv/dataframe_&quot;+str(i))
  27. 	    
  28. 	    end_time = time.time()
  29. 	    duration = end_time - start_time
  30. 	    
  31. 	    each_df_time = {
  32. 	    &quot;DF_name&quot;:&quot;dataframe&quot;+str(i),
  33. 	    &quot;time_taken&quot;:duration
  34. 	    }
  35. 	    log.append(each_df_time)
  36. 	    
  37. 	log_df = spark.createDataFrame(log,schema=&quot;DF_name STRING, time_taken DOUBLE&quot;)
  38. 	display(log_df)
  41. Output:
  43. ![enter image description here](https://i.imgur.com/tQvlfzK.png)
  45. </details>

huangapple
  • 本文由 发表于 2023年6月1日 14:20:15
  • 转载请务必保留本文链接：https://go.coder-hub.com/76379160.html
  • apache-spark
  • azure-databricks
  • databricks
  • pyspark
  • scala
匿名

发表评论

匿名网友

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen:

确定