@ -26,12 +26,12 @@ webmagic使用maven管理依赖，
< dependency >
< groupId > us.codecraft< / groupId >
< artifactId > webmagic-core< / artifactId >
< version > 0.2.1 < / version >
< version > 0.3.2 < / version >
< / dependency >
< dependency >
< groupId > us.codecraft< / groupId >
< artifactId > webmagic-extension< / artifactId >
< version > 0.2.1 < / version >
< version > 0.3.2 < / version >
< / dependency >
#### 项目结构
@ -72,6 +72,7 @@ webmagic还包含两个可用的扩展包，
PageProcessor是webmagic-core的一部分， ：
```java
public class OschinaBlogPageProcesser implements PageProcessor {
private Site site = Site.me().setDomain("my.oschina.net")
@ -97,17 +98,19 @@ PageProcessor是webmagic-core的一部分，
.pipeline(new ConsolePipeline()).run();
}
}
```
这里通过page.addTargetRequests()方法来增加要抓取的URL， ， ， ，
Spider是爬虫的入口类。Pipeline是结果输出和持久化的接口，
执行这个main方法， ，
执行这个main方法， ， 你可以通过site.setSleepTime(int)修改这个值。site还有一些修改抓取属性的方法。
#### 使用注解
webmagic-extension包括了注解方式编写爬虫的方法， ， ：
```java
@TargetUrl ("http://my.oschina.net/flashsword/blog/\\d+")
public class OschinaBlog {
@ -119,6 +122,10 @@ webmagic-extension包括了注解方式编写爬虫的方法，
@ExtractBy (value = "//div[@class='BlogTags']/a/text()", multi = true)
private List< String > tags;
@Formatter ("yyyy-MM-dd HH:mm")
@ExtractBy ("//div[@class='BlogStat']/regex('\\d+-\\d+-\\d+\\s+\\d+:\\d+')")
private Date date;
public static void main(String[] args) {
OOSpider.create(
@ -126,6 +133,7 @@ webmagic-extension包括了注解方式编写爬虫的方法，
new ConsolePageModelPipeline(), OschinaBlog.class).run();
}
}
```
这个例子定义了一个Model类，
@ -152,14 +160,16 @@ webmagic-core参考了scrapy的模块划分，
**Spider**是爬虫的入口类， ， ，
```java
Spider.create(sinaBlogProcessor)
.scheduler(new FileCacheQueueScheduler("/data/temp/webmagic/cache/"))
.pipeline(new FilePipeline())
.thread(10).run();
```
Spider的核心处理流程非常简单， ：
<!-- lang: java -->
```java
private void processRequest(Request request) {
Page page = downloader.download(request, this);
if (page == null) {
@ -173,6 +183,7 @@ Spider的核心处理流程非常简单， ：
}
sleep(site.getSleepTime());
}
```
Spider还包括一个方法test(String url)，该方法只抓取一个单独的页面，用于测试抽取效果。
@ -191,16 +202,51 @@ Spider还包括一个方法test(String url)，该方法只抓取一个单独的
**Selector**是webmagic为了简化页面抽取开发的独立模块， ，
<!-- lang: java -->
```java
//content是用别的爬虫工具抽取到的正文
List< String > links = page.getHtml()
.$("div.title") //css 选择，
.xpath("//@href") //提取链接
.regex(".*blog.*") //正则匹配过滤
.all(); //转换为string列表
```
webmagic包括一个对于页面正文的自动抽取的类**SmartContentSelector**。相信用过Evernote Clearly都会对其自动抽取正文的技术印象深刻。这个技术又叫**Readability**。当然webmagic对Readability的实现还比较粗略，
webmagic的XPath解析使用了作者另一个开源项目： ， ，
< table >
< tr >
< td width = "100" > 函数< / td >
< td > 说明< / td >
< / tr >
< tr >
< td width = "100" > text(n)< / td >
< td > 第n个文本节点(0表示取所有)< / td >
< / tr >
< tr >
< td width = "100" > allText()< / td >
< td > 包括子节点的所有文本< / td >
< / tr >
< / tr >
< tr >
< td width = "100" > tidyText()< / td >
< td > 包括子节点的所有文本，并进行智能换行< / td >
< / tr >
< tr >
< td width = "100" > html()< / td >
< td > 内部html(不包括当前标签本身)< / td >
< / tr >
< tr >
< td width = "100" > outerHtml()< / td >
< td > 外部html(包括当前标签本身)< / td >
< / tr >
< tr >
< td width = "100" > regex(@attr,expr,group)< / td >
< td > 正则表达式，@attr是抽取的属性(可省略)， ， ， < / td >
< / tr >
< / table >
基于Saxon， ， ，
**webmagic-samples**包里有一些为某个站点定制的PageProcessor，
@ -296,6 +342,7 @@ webmagic-extension包括注解模块。为什么会有注解方式？
注解方式其实也是通过一个PageProcessor的实现--ModelPageProcessor完成， ：
```java
@TargetUrl ("http://my.oschina.net/flashsword/blog/\\d+")
public class OschinaBlog {
@ -314,6 +361,7 @@ webmagic-extension包括注解模块。为什么会有注解方式？
new ConsolePageModelPipeline(), OschinaBlog.class).run();
}
}
```
注解部分包括以下内容：
@ -337,13 +385,20 @@ webmagic-extension包括注解模块。为什么会有注解方式？
"ExtractBy"用于类时， ，
* #### ExtractByRaw & ExtractByUrl
* #### ExtractByUrl
在类使用"ExtractBy"修饰后，字段的"ExtractBy"使用的是其抽取的结果， ， ， 只支持正则表达式。
ExtractByUrl表示从URL中抽取信息， 只支持正则表达式。
* #### ExtractBy2 ExtractBy3
* #### ComboExtract
ComboExtract是对ExtractBy的一个补充，
"ExtractBy"、"ExtractByRaw"支持链式抽取，通过增加注解"ExtractBy2"、"ExtractBy3"实现。
* #### 类型转换
@Formatter ("yyyy-MM-dd HH:mm")
@ExtractBy ("//div[@class='BlogStat']/regex('\\d+-\\d+-\\d+\\s+\\d+:\\d+')")
private Date date;
* #### AfterExtractor
@ -352,16 +407,20 @@ webmagic-extension包括注解模块。为什么会有注解方式？
* #### OOSpider
OOSpider是注解式爬虫的入口， ， ， ：
```java
OOSpider.create(
Site.me().addStartUrl("http://www.oschina.net"),
new ConsolePageModelPipeline(),
OschinaBlog.clas,OschinaAnswer.class).run();
```
OOSpider会根据TargetUrl调用不同的Model进行解析。
* #### PageModelPipeline
可以通过定义PageModelPipeline来选择结果输出方式。这里new ConsolePageModelPipeline()是PageModelPipeline的一个实现，
PageModelPipeline目前包括`ConsolePageModelPipeline`、`JsonFilePageModelPipeline`、`FilePageModelPipeline`三个实现。
* #### 分页
处理单项数据分页(例如单条新闻多个页面)是爬虫一个比较头疼的问题。webmagic目前对于分页的解决方案是： ， ， ：
yihua.huang
12 years ago