英文:
How to unzip io.ReadCloser?
问题
我从http服务中获取了一些数据，我想要在获取的同时解压缩它。这是我目前的方法：
resp, err := http.Get(url)
if err != nil {
logger.Fatalf("无法获取%s的数据。%v", url, err)
}
logger.Info("从%s获取到数据", url)
content_zipped, err := ioutil.ReadAll(resp.Body)
resp.Body.Close()
if err != nil {
logger.Fatal(err)
}
zip_reader, err := zip.NewReader(bytes.NewReader(content_zipped), int64(len(content_zipped)))
有没有办法在不一次性读取所有内容的情况下解压缩resp.Body（第6行）？我是指流式传输字节。
英文:
I fetch a data from http service and I want to unzip it on the fly.
Here is my current approach:
<!-- language: lang-go -->
resp, err := http.Get(url)
if err != nil {
logger.Fatalf("Can't fatch %s data. %v", url, err)
}
logger.Info("Fetched data from %s", url)
content_zipped, err := ioutil.ReadAll(resp.Body)
resp.Body.Close()
if err != nil {
logger.Fatal(err)
}
zip_reader, err := zip.NewReader(bytes.NewReader(content_zipped), int64(len(content_zipped)))
Is there any way to unzip the resp.Body without reading all the content at once (6. line)? I mean to stream the bytes.
答案1
得分: 13
Zip归档文件需要随机访问才能读取，所以很难流式传输字节。特别是，请参阅此处zip.Reader.init的源代码：http://golang.org/src/pkg/archive/zip/reader.go?s=1265:1323#L59。
它首先调用readDirectoryEnd函数，该函数从文件末尾附近读取数据。
你可以使用不同的压缩方法（例如gzip）吗？然后你可以使用gzip.NewReader(resp.Body)来流式传输数据。
英文:
Zip archives require random access for reading, so it's hard to stream bytes. In particular, see the source for zip.Reader.init here: http://golang.org/src/pkg/archive/zip/reader.go?s=1265:1323#L59 .
The first thing it does is call readDirectoryEnd which reads from near the end of the file.
Can you use a different compression method (for example, gzip)? Then you can use gzip.NewReader(resp.Body) to stream the data.
答案2
得分: 3
你是否在寻找类似以下的内容：
var ioReader io.Reader
buff := bytes.NewBuffer([]byte{})
size, err := io.Copy(buff, ioReader)
if err != nil {
return err
}
reader := bytes.NewReader(buff.Bytes())
// 用于读取的打开 zip 归档文件。
zipReader, err := zip.NewReader(reader, size)
英文:
Are you looking for something like below:
var ioReader io.Reader
buff := bytes.NewBuffer([]byte{})
size, err := io.Copy(buff, ioReader)
if err != nil {
return err
}
reader := bytes.NewReader(buff.Bytes())
// Open a zip archive for reading.
zipReader, err := zip.NewReader(reader, size)
通过集体智慧和协作来改善编程学习和解决问题的方式。致力于成为全球开发者共同参与的知识库，让每个人都能够通过互相帮助和分享经验来进步。
评论