Go语言 爬虫2-编码转换
2013-03-10 22:15
302 查看
Go 语言官方没有提供处理 utf8、unicode 之外字符编码的包。这样转换就需要用第三方包,候选包:https://github.com/xushiwei/go-iconvhttps://github.com/djimenez/iconv-gohttps://github.com/sloonz/go-iconv例子:下面源网页是国家地震局的一周内地震统计,编码是gb2312,这里需要把它编码成 utf-8 格式。http://wendal.net/2013/0115.html
package main
import(
iconv "github.com/djimenez/iconv-go"
"io/ioutil"
"log"
"net/http"
)
func main(){
log.SetFlags(log.LstdFlags|log.Lshortfile)
resp,err:=http.Get("http://data.earthquake.cn/datashare/globeEarthquake_csn.html")
if err!=nil{
log.Fatal(err)
}
defer resp.Body.Close()
input,err:=ioutil.ReadAll(resp.Body)
out:=make([]byte,len(input))
out=out[:]
iconv.Convert(input,out,"gb2312","utf-8")
ioutil.WriteFile("globeEarthquake_csn.html",out,0644)
}参考资料:Golang下进行字符集转换http://wendal.net/2013/0115.html
相关文章推荐
- Go语言 简单的爬虫示例(2)——编码转换
- go语言爬虫goquery和grequests的使用
- [置顶] 【go语言爬虫】go语言爬取豆瓣电影top250
- Go语言实现的web爬虫实例
- 实现一个go语言的简单爬虫来爬取CSDN博文(一)
- [置顶] 【go语言爬虫】go语言高性能抓取手机号码归属地、所属运营商
- Go语言开发的网站模板爬虫 Lea Web Template Spider
- go语言 grequests+goquery 简单爬虫,使用多协程并发爬取
- Go语言 爬虫1-网络请求
- 实现一个go语言的简单爬虫来爬取CSDN博文(一)
- [置顶] 【go语言爬虫】网贷天眼数据平台爬虫
- go语言实现爬虫采集联想词
- 实现一个go语言的简单爬虫来爬取CSDN博文(一)
- go语言--爬虫--对字符串的处理
- Go语言 简单爬虫
- Golang语言快速上手到综合实战(Go语言、Beego框架、高并发聊天室、豆瓣电影爬虫) 下载
- GO语言的进阶之路-爬虫进阶之路
- GO语言_用redis作为url队列的爬虫
- 求推荐go语言开发工具及go语言应该以哪种目录结构组织代码?