采集博客园
今天ModestMT.Zou发布了DotnetSpider爬虫第二章节，内容简单明了，基本看懂了，于是想自己试试看，直接就拿博客园开刀了。
这里有最基本的使用方式，本文章不介绍
[开源 .NET 跨平台 数据采集 爬虫框架: DotnetSpider] [二] 最基本，最自由的使用方式
这里我已经从https://github.com/zlzforever/DotnetSpider上下载代码并编译通过
这里用的是VS2015，因为此项目有些C#6.0语法糖
首先，用VS2015新建一个控件台程序，命名为DotnetSpiderDemo
新建一个数据对象
|
1
2
3
4
5
6
7
8
9
10
|
public
class
Cnblog
{
public
string
Title {
get
;
set
; }
public
string
Url {
get
;
set
; }
public
string
Author {
get
;
set
; }
public
string
Conter {
get
;
set
; }
}
|
先引用两个Dll类库
Java2Dotnet.Spider.Core.dll
Newtonsoft.Json.dll
如果你编译DotnetSpider成功的话，可以在output目录中找到
现在来写数据处理器，实现 IPageProcessor 这个接口
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
|
/// <summary>
/// 页面列表处理器
/// </summary>
public
class
PageListProcessor : IPageProcessor
{
public
Site Site{
get
;
set
; }
public
void
Process(Page page)
{
var
totalCnblogElements = page.Selectable.SelectList(Selectors.XPath(
"//div[@class='post_item']"
)).Nodes();
List<Cnblog> results =
new
List<Cnblog>();
foreach
(
var
cnblogElement
in
totalCnblogElements)
{
var
cnblog =
new
Cnblog();
cnblog.Title = cnblogElement.Select(Selectors.XPath(
".//div[@class='post_item_body']/h3/a"
)).GetValue();
cnblog.Url = cnblogElement.Select(Selectors.XPath(
".//div[@class='post_item_body']/h3"
)).Links().GetValue();
cnblog.Author = cnblogElement.Select(Selectors.XPath(
".//div[@class='post_item_foot']/a[1]"
)).GetValue();
results.Add(cnblog);
}
page.AddResultItem(
"Result"
, results);
}
}
|
关于XPath,可以到这里学习http://www.w3school.com.cn/xpath/，我也是下午刚看了一遍，因为有XML/HTML基础，基本没压力
关于XPath表达式如何写，我觉得用谷歌审核元素就足够了，可以复制XPath。也有一款谷歌XPath插件，因我翻不了墙，就没安装。
如下图：//*[@id="post_list"]/div[20]/div[2]/h3/a，然后再按需改改
数据存取
需要实现 IPipeline这个接口，然后你想保存到文件或数据库就自己选择
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
|
public
class
ListPipeline : IPipeline
{
private
string
_path;
public
ListPipeline(
string
path)
{
if
(
string
.IsNullOrEmpty(path))
{
throw
new
Exception(
"文件名不能为空！"
);
}
_path = path;
if
(!File.Exists(_path))
{
File.Create(_path);
}
}
public
void
Dispose()
{
}
public
void
Process(ResultItems resultItems, ISpider spider)
{
lock
(
this
)
{
foreach
(Cnblog entry
in
resultItems.Results[
"Result"
])
{
File.AppendAllText(_path, JsonConvert.SerializeObject(entry));
}
}
}
|
接下来在Program的Main方法中写运行代码
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
|
class
Program
{
static
void
Main(
string
[] args)
{
var
site =
new
Site() { EncodingName =
"UTF-8"
};
for
(
int
i = 1; i <= 30; i++)
//30页
{
site.AddStartUrl(
}
Spider spider = Spider.Create(site,
new
PageListProcessor(),
new
QueueDuplicateRemovedScheduler()).AddPipeline(
new
ListPipeline(
"test.json"
)).SetThreadNum(2);
//两个线程
spider.Run();
Console.Read();
}
}
|
这样每一页信息就被保存起来了，但到这里还没完，一般情况不仅仅是采集列表页，也会采集详细页，于是我又添加了两个类，暂时我是这样实现的，但感觉有点慢
添加页面详细数据处理器
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
|
/// <summary>
/// 页面详细处理器
/// </summary>
public
class
PageDetailProcessor : IPageProcessor
{
private
Cnblog cnblog;
public
PageDetailProcessor(Cnblog _cnblog)
{
cnblog = _cnblog;
}
public
Site Site {
get
;
set
; }
public
void
Process(Page page)
{
cnblog.Conter=page.Selectable.Select(Selectors.XPath(
"//*[@id='cnblogs_post_body']"
)).GetValue();
page.AddResultItem(
"detail"
,cnblog);
}
}
|
再添加页面详细数据保存
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
|
public
class
DetailPipeline : IPipeline
{
private
string
path;
public
DetailPipeline(
string
_path)
{
if
(
string
.IsNullOrEmpty(_path))
{
throw
new
Exception(
"路径不能为空！"
);
}
path = _path;
if
(!Directory.Exists(_path))
{
Directory.CreateDirectory(_path);
}
}
public
void
Dispose()
{
}
public
void
Process(ResultItems resultItems, ISpider spider)
{
Cnblog cnblog=resultItems.Results[
"detail"
];
FileStream fs=File.Create(path +
"\\"
+ cnblog.Title +
".txt"
);
byte
[] bytes=UTF8Encoding.UTF8.GetBytes(
"Url:"
+cnblog.Url+Environment.NewLine+cnblog.Conter);
fs.Write(bytes,0,bytes.Length);
fs.Flush();
fs.Close();
}
}
|
修改ListPipeline这个类RequestDetail方法，我的想法是列表数据保存一次就请求一次详细页，然后再保存详细页
所有详细页都保存在details这个目录下
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
|
public
class
ListPipeline : IPipeline
{
private
string
_path;
public
ListPipeline(
string
path)
{
if
(
string
.IsNullOrEmpty(path))
{
throw
new
Exception(
"文件名不能为空！"
);
}
_path = path;
if
(!File.Exists(_path))
{
File.Create(_path);
}
}
public
void
Dispose()
{
}
public
void
Process(ResultItems resultItems, ISpider spider)
{
lock
(
this
)
{
foreach
(Cnblog entry
in
resultItems.Results[
"Result"
])
{
File.AppendAllText(_path, JsonConvert.SerializeObject(entry));
RequestDetail(entry);
}
}
}
/// <summary>
/// 请求详细页
/// </summary>
/// <param name="entry"></param>
private
static
void
RequestDetail(Cnblog entry)
{
ISpider spider;
var
site =
new
Site() {EncodingName =
"UTF-8"
};
site.AddStartUrl(entry.Url);
spider =
Spider.Create(site,
new
PageDetailProcessor(entry),
new
QueueDuplicateRemovedScheduler())
.AddPipeline(
new
DetailPipeline(
"details"
))
.SetThreadNum(1);
spider.Run();
}
}
|
其它代码保持不变，运行程序，现在已经能保存详细页内容了
最后，程序运行下来没什么大问题，但就是在采集详细页时比较慢，我的想法是把所有详细页一起加到调度中心，然后开多个线程去运行，这个有待学习。
采集博客园
今天ModestMT.Zou发布了DotnetSpider爬虫第二章节，内容简单明了，基本看懂了，于是想自己试试看，直接就拿博客园开刀了。
这里有最基本的使用方式，本文章不介绍
[开源 .NET 跨平台 数据采集 爬虫框架: DotnetSpider] [二] 最基本，最自由的使用方式
这里我已经从https://github.com/zlzforever/DotnetSpider上下载代码并编译通过
这里用的是VS2015，因为此项目有些C#6.0语法糖
首先，用VS2015新建一个控件台程序，命名为DotnetSpiderDemo
新建一个数据对象
|
1
2
3
4
5
6
7
8
9
10
|
public
class
Cnblog
{
public
string
Title {
get
;
set
; }
public
string
Url {
get
;
set
; }
public
string
Author {
get
;
set
; }
public
string
Conter {
get
;
set
; }
}
|
先引用两个Dll类库
Java2Dotnet.Spider.Core.dll
Newtonsoft.Json.dll
如果你编译DotnetSpider成功的话，可以在output目录中找到
现在来写数据处理器，实现 IPageProcessor 这个接口
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
|
/// <summary>
/// 页面列表处理器
/// </summary>
public
class
PageListProcessor : IPageProcessor
{
public
Site Site{
get
;
set
; }
public
void
Process(Page page)
{
var
totalCnblogElements = page.Selectable.SelectList(Selectors.XPath(
"//div[@class='post_item']"
)).Nodes();
List<Cnblog> results =
new
List<Cnblog>();
foreach
(
var
cnblogElement
in
totalCnblogElements)
{
var
cnblog =
new
Cnblog();
cnblog.Title = cnblogElement.Select(Selectors.XPath(
".//div[@class='post_item_body']/h3/a"
)).GetValue();
cnblog.Url = cnblogElement.Select(Selectors.XPath(
".//div[@class='post_item_body']/h3"
)).Links().GetValue();
cnblog.Author = cnblogElement.Select(Selectors.XPath(
".//div[@class='post_item_foot']/a[1]"
)).GetValue();
results.Add(cnblog);
}
page.AddResultItem(
"Result"
, results);
}
}
|
关于XPath,可以到这里学习http://www.w3school.com.cn/xpath/，我也是下午刚看了一遍，因为有XML/HTML基础，基本没压力
关于XPath表达式如何写，我觉得用谷歌审核元素就足够了，可以复制XPath。也有一款谷歌XPath插件，因我翻不了墙，就没安装。
如下图：//*[@id="post_list"]/div[20]/div[2]/h3/a，然后再按需改改
数据存取
需要实现 IPipeline这个接口，然后你想保存到文件或数据库就自己选择
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
|
public
class
ListPipeline : IPipeline
{
private
string
_path;
public
ListPipeline(
string
path)
{
if
(
string
.IsNullOrEmpty(path))
{
throw
new
Exception(
"文件名不能为空！"
);
}
_path = path;
if
(!File.Exists(_path))
{
File.Create(_path);
}
}
public
void
Dispose()
{
}
public
void
Process(ResultItems resultItems, ISpider spider)
{
lock
(
this
)
{
foreach
(Cnblog entry
in
resultItems.Results[
"Result"
])
{
File.AppendAllText(_path, JsonConvert.SerializeObject(entry));
}
}
}
|
接下来在Program的Main方法中写运行代码
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
|
class
Program
{
static
void
Main(
string
[] args)
{
var
site =
new
Site() { EncodingName =
"UTF-8"
};
for
(
int
i = 1; i <= 30; i++)
//30页
{
site.AddStartUrl(
}
Spider spider = Spider.Create(site,
new
PageListProcessor(),
new
QueueDuplicateRemovedScheduler()).AddPipeline(
new
ListPipeline(
"test.json"
)).SetThreadNum(2);
//两个线程
spider.Run();
Console.Read();
}
}
|
这样每一页信息就被保存起来了，但到这里还没完，一般情况不仅仅是采集列表页，也会采集详细页，于是我又添加了两个类，暂时我是这样实现的，但感觉有点慢
添加页面详细数据处理器
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
|
/// <summary>
/// 页面详细处理器
/// </summary>
public
class
PageDetailProcessor : IPageProcessor
{
private
Cnblog cnblog;
public
PageDetailProcessor(Cnblog _cnblog)
{
cnblog = _cnblog;
}
public
Site Site {
get
;
set
; }
public
void
Process(Page page)
{
cnblog.Conter=page.Selectable.Select(Selectors.XPath(
"//*[@id='cnblogs_post_body']"
)).GetValue();
page.AddResultItem(
"detail"
,cnblog);
}
}
|
再添加页面详细数据保存
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
|
public
class
DetailPipeline : IPipeline
{
private
string
path;
public
DetailPipeline(
string
_path)
{
if
(
string
.IsNullOrEmpty(_path))
{
throw
new
Exception(
"路径不能为空！"
);
}
path = _path;
if
(!Directory.Exists(_path))
{
Directory.CreateDirectory(_path);
}
}
public
void
Dispose()
{
}
public
void
Process(ResultItems resultItems, ISpider spider)
{
Cnblog cnblog=resultItems.Results[
"detail"
];
FileStream fs=File.Create(path +
"\\"
+ cnblog.Title +
".txt"
);
byte
[] bytes=UTF8Encoding.UTF8.GetBytes(
"Url:"
+cnblog.Url+Environment.NewLine+cnblog.Conter);
fs.Write(bytes,0,bytes.Length);
fs.Flush();
fs.Close();
}
}
|
修改ListPipeline这个类RequestDetail方法，我的想法是列表数据保存一次就请求一次详细页，然后再保存详细页
所有详细页都保存在details这个目录下
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
|
public
class
ListPipeline : IPipeline
{
private
string
_path;
public
ListPipeline(
string
path)
{
if
(
string
.IsNullOrEmpty(path))
{
throw
new
Exception(
"文件名不能为空！"
);
}
_path = path;
if
(!File.Exists(_path))
{
File.Create(_path);
}
}
public
void
Dispose()
{
}
public
void
Process(ResultItems resultItems, ISpider spider)
{
lock
(
this
)
{
foreach
(Cnblog entry
in
resultItems.Results[
"Result"
])
{
File.AppendAllText(_path, JsonConvert.SerializeObject(entry));
RequestDetail(entry);
}
}
}
/// <summary>
/// 请求详细页
/// </summary>
/// <param name="entry"></param>
private
static
void
RequestDetail(Cnblog entry)
{
ISpider spider;
var
site =
new
Site() {EncodingName =
"UTF-8"
};
site.AddStartUrl(entry.Url);
spider =
Spider.Create(site,
new
PageDetailProcessor(entry),
new
QueueDuplicateRemovedScheduler())
.AddPipeline(
new
DetailPipeline(
"details"
))
.SetThreadNum(1);
spider.Run();
}
}
|
其它代码保持不变，运行程序，现在已经能保存详细页内容了
最后，程序运行下来没什么大问题，但就是在采集详细页时比较慢，我的想法是把所有详细页一起加到调度中心，然后开多个线程去运行，这个有待学习。