如何读取一个gzipped的CSV文件？

huangapple
go评论134阅读模式
英文:

How do I read a gzipped CSV file?

问题

我正在面临阅读存档的CSV文件时遇到一些问题。

所以我想使用csv包和gzip包来解决这个问题，但我不知道如何将它们结合起来使用。

gzip.Reader(p []bytes)和csv.Reader()具有不同的签名。

这是我的读取函数：

  1. func reader(filename string, c chan string) {
  2.     fi, err := os.Open(filename)
  3.     var r *bufio.Reader
  4.     if err != nil {
  5.         fmt.Println("%q",err)
  6.         os.Exit(1)
  7.     }
  9.     fz, err := g.NewReader(fi)
  11.     if err != nil {
  12.         r = bufio.NewReader(fi)
  13.     } else {
  14.         r = bufio.NewReader(fz)
  15.     }
  17.     for {
  18.         line, err := r.ReadString('\n')
  19.         if err != nil {
  20.             fmt.Println("done reading file")
  21.             c <- "done"
  22.             break
  23.         } else {
  24.             c <- fmt.Sprintf("%q",strings.Fields(line))
  25.         }
  26.     }
  27. }

你有什么建议吗？

英文:

I'm facing some issues in reading archived CSV files.

So I want to use the csv package and the gzip package for this, but I don't know how to combine them.

The gzip.Reader(p []bytes) and the csv.Reader() have different signatures.

This is my reader function:

  1. func reader(filename string, c chan string) {
  2.     fi, err := os.Open(filename)
  3.  	var r *bufio.Reader
  4.  	if err != nil {
  5.     	fmt.Println(&quot;%q&quot;,err)
  6. 	    os.Exit(1)
  7. 	}
  9. 	fz, err := g.NewReader(fi)
  11. 	if err != nil {
  12.     	r = bufio.NewReader(fi)
  13.  	}else {
  14.     	r = bufio.NewReader(fz)
  15. 	}
  18.     for {
  19.    	    line, err := r.ReadString(&#39;\n&#39;)
  20. 		if err != nil {
  21. 			fmt.Println(&quot;done reading file&quot;)
  22. 			c &lt;- &quot;done&quot;
  23. 			break
  24.     	}else{
  25. 			c &lt;- fmt.Sprintf(&quot;%q&quot;,strings.Fields(line))
  26. 		}
  27. 	}
  28. }

Do you have any suggestions ?

答案1

得分: 31

只需打开文件进行读取，然后使用该文件句柄进行gzip压缩，再将该文件句柄用于csv读取器：

  1. package main
  3. import (
  4. 	"compress/gzip"
  5. 	"encoding/csv"
  6. 	"fmt"
  7. 	"log"
  8. 	"os"
  9. )
  11. func main() {
  12. 	f, err := os.Open("data.csv.gz")
  13. 	if err != nil {
  14. 		log.Fatal(err)
  15. 	}
  16. 	defer f.Close()
  17. 	gr, err := gzip.NewReader(f)
  18. 	if err != nil {
  19. 		log.Fatal(err)
  20. 	}
  21. 	defer gr.Close()
  23. 	cr := csv.NewReader(gr)
  24. 	rec, err := cr.Read()
  25. 	if err != nil {
  26. 		log.Fatal(err)
  27. 	}
  28. 	for _, v := range rec {
  29. 		fmt.Println(v)
  30. 	}
  31. }

这是我的（未压缩的）data.csv文件：

  1. "foo","bar","baz"

程序的输出结果是：

  1. foo
  2. bar
  3. baz

如预期所示。

英文:

Just Open the file for reading, then use that file handle with gzip and then use that file handle for the csv reader:

  1. package main
  3. import (
  4. 	&quot;compress/gzip&quot;
  5. 	&quot;encoding/csv&quot;
  6. 	&quot;fmt&quot;
  7. 	&quot;log&quot;
  8. 	&quot;os&quot;
  9. )
  11. func main() {
  12. 	f, err := os.Open(&quot;data.csv.gz&quot;)
  13. 	if err != nil {
  14. 		log.Fatal(err)
  15. 	}
  16. 	defer f.Close()
  17. 	gr, err := gzip.NewReader(f)
  18. 	if err != nil {
  19. 		log.Fatal(err)
  20. 	}
  21. 	defer gr.Close()
  23. 	cr := csv.NewReader(gr)
  24. 	rec, err := cr.Read()
  25. 	if err != nil {
  26. 		log.Fatal(err)
  27. 	}
  28. 	for _, v := range rec {
  29. 		fmt.Println(v)
  30. 	}
  31. }

and this is my (uncompressed) data.csv:

  1. &quot;foo&quot;,&quot;bar&quot;,&quot;baz&quot;

The output of my program is:

  1. foo
  2. bar
  3. baz

as expected.

huangapple
  • 本文由 发表于 2014年7月10日 17:46:37
  • 转载请务必保留本文链接：https://go.coder-hub.com/24673335.html
  • csv
  • go
  • gzip
匿名

发表评论

匿名网友

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen:

确定