上一节已经说明了要做什么,以及整个小程序的目录结构,接下来就开始编码部分。
首先在入口文件中引入项目下的包crawldata,然后调用其中抓取数据的函数,暂时取名为Crawl:

1
2
3
4
5
6
7
8
9
10
11
12
package main
import (
"fmt"
"indiepic/crawldata"
)
func main () {
// 使用crawldata包里面的Crawl()抓取需要的数据存到数据库
crawldata.Crawl()
fmt.Println("主函数")
}

然后就是实现包crawldata里面的Crawl函数。将该函数放在crawldata.go文件中:

1
2
3
4
5
6
7
8
9
package crawldata
import (
"fmt"
)
func Crawl() {
fmt.Println("包crawldata中的Crawl函数")
}

查看网站 [](http://www.gratisography.com/)http://www.gratisography.com/,然后审查元素找到某张图片,在图片主要包含了srcdata-originalwidthheightalt等信息,首先要明确一点的是这个网站使用了图片的lazy加载(在每个li标签上可以看出来),所以真正的图片URLdata-original指定的值而不是srcsrc值会在图片加载完成之后被赋为data-original的值。另外在网站上有一个分类,所以需存储一下每一张图片的分类,在抓取的时候也是直接通过分类去抓取。
因此我们需要定义一个结构体来表示每一条数据包含的数据,以及用于存储全部数据的一个切片,然后在Crawl函数中使用。如下:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
package crawldata
import (
"fmt"
"github.com/PuerkitoBio/goquery"
"strconv"
s "strings"
)
// 定义一个存储一条数据的结构体
type ImageData struct {
Src string
Tp string
Title string
Width int
Height int
}
// 定义切片用于存储抓取的全部数据
type ImageDatas []ImageData
func Crawl() {
fmt.Println("包crawldata中的Crawl函数")
// 定义一个切片存储所有数据
var datas ImageDatas
// 抓取数据
imageDatas := CrawlData(&datas)
}

在上面的Crawl函数中又调用了一个CrawlData函数,该函数接受一个用于存储数据的datas变量,并返回抓取后的所有数据。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
/*
该函数用来抓取数据,并将存储的值返回到主函数
*/
func CrawlData(datas *ImageDatas) (imageDatas ImageDatas) {
imageDatas = *datas
// 规定抓取时匹配的元素
var types = [...]string{
"people",
"objects",
"whimsical",
"nature",
"urban",
"animals"}
doc, err := goquery.NewDocument("http://www.gratisography.com/")
if err != nil {
fmt.Printf(err.Error())
}
for _, tp := range types {
doc.Find("#container ul").Find(s.Join([]string{".", tp}, "")).Each(func(i int, s *goquery.Selection) {
img := s.Find("img.lazy")
src, _ := img.Attr("data-original")
title, _ := img.Attr("alt")
width, _ := img.Attr("width")
height, _ := img.Attr("height")
// 将宽度和高度的字符串类型转为数值型
wd, error := strconv.Atoi(width)
if error != nil {
fmt.Println("字符串转换成整数失败")
}
hg, error := strconv.Atoi(height)
if error != nil {
fmt.Println("字符串转换成整数失败")
}
// fmt.Printf("Review %d: %s - %s - %s - %d - %d\n", i, src, tp, title, wd, hg)
imageData := ImageData{src, tp, title, wd, hg}
imageDatas = append(imageDatas, imageData)
})
}
return
}

定义了一个数组types用于存放分类,然后根据分类去获得各分类下的图片。

数据抓取使用 goquery,在运行之前需要使用如下命令获取goquery

1
go get github.com/PuerkitoBio/goquery

goquery的用法和jQuery很类似,直接通过网页中的一些标签、class、id等获取,更多的使用方法可以查看文档。

这里还使用了strconv中的函数转换类型,使用strings处理字符串。这两个都是GO的内置包,不需要其他运行命令获取。

Crawl函数中可以使用for输出看获取到的数据,如:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
func Crawl() {
// 定义一个切片存储所有数据
var datas ImageDatas
// 抓取数据
imageDatas := CrawlData(&datas)
for i := 0; i < len(imageDatas); i++ {
fmt.Println(imageDatas[i].Src, imageDatas[i].Title, imageDatas[i].Tp, imageDatas[i].Height, imageDatas[i].Width)
}
// 或者
for _, imageData := range imageDatas {
fmt.Println(imageData.Src, imageData.Title, imageData.Tp, imageData.Height, imageData.Width)
}
// 将数据插入数据库
// InsertData(&imageDatas)
}

下一步实现将获取的数据插入数据库的方法InsertData(&imageDatas)