英文:
How to Scrape Dynamic Website in Go?
问题
在Go语言中，你可以使用Go语言的相关库来实现网页爬取的功能。其中比较常用的是Go语言的goquery库和colly库。
goquery是一个类似于jQuery的库，它可以方便地解析HTML文档，并提供了类似于jQuery的选择器来选择和操作HTML元素。你可以使用goquery来获取动态网页的内容，并提取所需的数据。
colly是一个功能强大的网页爬虫框架，它提供了丰富的功能和灵活的API，可以用于处理各种网页爬取任务。使用colly，你可以轻松地处理动态网页，并提取所需的数据。
这些库都可以帮助你在Go语言中实现动态网页爬取的功能。你可以根据具体的需求选择合适的库来使用。
英文:
With NodeJS I can use PhantomJS to help me to scrape dynamic website, with Python I can use Selenium to do this job.
How about in GoLang?
答案1
得分: 3
在Go语言中尝试使用Selenium Web驱动程序
https://github.com/knq/chromedp：Package chromedp是一种更快、更简单的驱动浏览器（Chrome、Edge、Safari、Android等）的方法，无需外部依赖（如Selenium、PhantomJS等），使用Chrome调试协议。
https://github.com/sourcegraph/go-selenium：Go语言的Selenium WebDriver客户端
https://github.com/tebeka/selenium：Go语言的Selenium/Webdriver客户端
静态爬虫参考
你可以使用github.com/PuerkitoBio/gocrawl库或构建自定义的爬虫，基本思路在这里https://tour.golang.org/concurrency/10。
英文:
Give it a try on Go lang selenium web drivers
https://github.com/knq/chromedp : Package chromedp is a faster, simpler way to drive browsers (Chrome, Edge, Safari, Android, etc) without external dependencies (ie, Selenium, PhantomJS, etc) using the Chrome Debugging Protocol.
https://github.com/sourcegraph/go-selenium : Selenium WebDriver client for Go
https://github.com/tebeka/selenium : Selenium/Webdriver client for Go
Static Crawler Reference
You can use github.com/PuerkitoBio/gocrawl library or built your custom crawler, basic idea is here https://tour.golang.org/concurrency/10.
通过集体智慧和协作来改善编程学习和解决问题的方式。致力于成为全球开发者共同参与的知识库，让每个人都能够通过互相帮助和分享经验来进步。
评论