上一节已经说明了要做什么,以及整个小程序的目录结构,接下来就开始编码部分。
首先在入口文件中引入项目下的包crawldata
,然后调用其中抓取数据的函数,暂时取名为Crawl
:
1 2 3 4 5 6 7 8 9 10 11 12
| package main import ( "fmt" "indiepic/crawldata" ) func main () { crawldata.Crawl() fmt.Println("主函数") }
|
然后就是实现包crawldata
里面的Crawl
函数。将该函数放在crawldata.go
文件中:
1 2 3 4 5 6 7 8 9
| package crawldata import ( "fmt" ) func Crawl() { fmt.Println("包crawldata中的Crawl函数") }
|
查看网站 [](http://www.gratisography.com/)http://www.gratisography.com/,然后审查元素找到某张图片,在图片主要包含了src
、data-original
、width
、height
、alt
等信息,首先要明确一点的是这个网站使用了图片的lazy
加载(在每个li
标签上可以看出来),所以真正的图片URL
是data-original
指定的值而不是src
,src
值会在图片加载完成之后被赋为data-original
的值。另外在网站上有一个分类,所以需存储一下每一张图片的分类,在抓取的时候也是直接通过分类去抓取。
因此我们需要定义一个结构体来表示每一条数据包含的数据,以及用于存储全部数据的一个切片,然后在Crawl
函数中使用。如下:
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29
| package crawldata import ( "fmt" "github.com/PuerkitoBio/goquery" "strconv" s "strings" ) type ImageData struct { Src string Tp string Title string Width int Height int } type ImageDatas []ImageData func Crawl() { fmt.Println("包crawldata中的Crawl函数") var datas ImageDatas imageDatas := CrawlData(&datas) }
|
在上面的Crawl
函数中又调用了一个CrawlData
函数,该函数接受一个用于存储数据的datas
变量,并返回抓取后的所有数据。
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43
| 该函数用来抓取数据,并将存储的值返回到主函数 */ func CrawlData(datas *ImageDatas) (imageDatas ImageDatas) { imageDatas = *datas var types = [...]string{ "people", "objects", "whimsical", "nature", "urban", "animals"} doc, err := goquery.NewDocument("http://www.gratisography.com/") if err != nil { fmt.Printf(err.Error()) } for _, tp := range types { doc.Find("#container ul").Find(s.Join([]string{".", tp}, "")).Each(func(i int, s *goquery.Selection) { img := s.Find("img.lazy") src, _ := img.Attr("data-original") title, _ := img.Attr("alt") width, _ := img.Attr("width") height, _ := img.Attr("height") wd, error := strconv.Atoi(width) if error != nil { fmt.Println("字符串转换成整数失败") } hg, error := strconv.Atoi(height) if error != nil { fmt.Println("字符串转换成整数失败") } imageData := ImageData{src, tp, title, wd, hg} imageDatas = append(imageDatas, imageData) }) } return }
|
定义了一个数组types
用于存放分类,然后根据分类去获得各分类下的图片。
数据抓取使用 goquery,在运行之前需要使用如下命令获取goquery
1
| go get github.com/PuerkitoBio/goquery
|
goquery
的用法和jQuery
很类似,直接通过网页中的一些标签、class、id等获取,更多的使用方法可以查看文档。
这里还使用了strconv
中的函数转换类型,使用strings
处理字符串。这两个都是GO的内置包,不需要其他运行命令获取。
在Crawl
函数中可以使用for
输出看获取到的数据,如:
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16
| func Crawl() { var datas ImageDatas imageDatas := CrawlData(&datas) for i := 0; i < len(imageDatas); i++ { fmt.Println(imageDatas[i].Src, imageDatas[i].Title, imageDatas[i].Tp, imageDatas[i].Height, imageDatas[i].Width) } for _, imageData := range imageDatas { fmt.Println(imageData.Src, imageData.Title, imageData.Tp, imageData.Height, imageData.Width) } }
|
下一步实现将获取的数据插入数据库的方法InsertData(&imageDatas)
。