英文:
How to write a spark dataframe tab delimited as a text file using java
问题
我有一个包含许多列的Spark Dataset<Row>，需要将其写入一个以制表符分隔的文本文件中。使用csv格式很容易指定该选项，但是在Java中使用文本文件时该如何处理呢？
英文:
I have a Spark Dataset<Row> with lot of columns that have to be written to a text file with a tab delimiter. With csv its easy to specify that option, but how to handle this for a text file when using Java?
答案1
得分: 3
Option 1:
yourDf
.coalesce(1) // 如果你想保存为单个文件
.write
.option("sep", "\t")
.option("encoding", "UTF-8")
.csv("outputpath")
与写入 CSV 相同，但这里需要使用制表符分隔。
是的，正如你在注释中提到的，如果你想要重命名文件，你可以执行以下操作：
import org.apache.hadoop.fs.FileSystem;
FileSystem fs = FileSystem.get(spark.sparkContext.hadoopConfiguration);
fs.rename(new Path("outputpath"), new Path("outputpath.txt"));
注意：
- 如果在 outputpath 下有多个文件，你可以使用 fs.globStatus，在这种情况下
coalesce(1)会生成单个 CSV，因此不需要。 - 如果你使用的是 S3 而不是 HDFS，你可能需要在尝试重命名之前进行如下设置：
spark.sparkContext.hadoopConfiguration.set("fs.s3.impl", "org.apache.hadoop.fs.s3native.NativeS3FileSystem");
Option 2:
另一种选项（如果你不想使用 CSV API），可以像下面这样：
yourDf.rdd
.coalesce(1)
.map(x => x.mkString("\t"))
.saveAsTextFile("yourfile.txt");
英文:
Option 1 :
yourDf
.coalesce(1) // if you want to save as single file
.write
.option("sep", "\t")
.option("encoding", "UTF-8")
.csv("outputpath")
same as writing csv but here tab delimeter you need to use.
Yes its csv as you mentioned in the comment, if you want to rename the file you can do the below..
import org.apache.hadoop.fs.FileSystem;
FileSystem fs = FileSystem.get(spark.sparkContext.hadoopConfiguration);
fs.rename(new Path("outputpath"), new Path(outputpath.txt))
Note :
- you can use fs.globStatus if you have multiple file under your outputpath inthis case
coalesce(1)will make single csv, hence not needed. - if you are using s3 instead of hdfs you may need to set below before attempting to rename...
spark.sparkContext.hadoopConfiguration.set("fs.s3.impl", "org.apache.hadoop.fs.s3native.NativeS3FileSystem")
Option 2 :
Other option (if you don't want use csv api) could be like below
yourDf.rdd
.coalesce(1)
.map(x => x.mkString("\t"))
.saveAsTextFile("yourfile.txt")
通过集体智慧和协作来改善编程学习和解决问题的方式。致力于成为全球开发者共同参与的知识库，让每个人都能够通过互相帮助和分享经验来进步。
评论