|
|
|
@ -2,25 +2,28 @@ webmagic
|
|
|
|
|
---------
|
|
|
|
|
####*一个网络爬虫工具包*
|
|
|
|
|
|
|
|
|
|
webmagic的发起源于工作中的需要,其定位是帮助开发者更便捷的开发一个垂直的网络爬虫。webmagic可以便捷的使用xpath和正则表达式进行链接和内容的提取,对于有Java和xpath或者正则基础的开发者,只需编写少量代码即可完成一个定制爬虫。
|
|
|
|
|
webmagic的发起源于工作中的需要,其定位是帮助开发者更便捷的开发一个垂直的网络爬虫。
|
|
|
|
|
|
|
|
|
|
###哲学###
|
|
|
|
|
webmagic的功能覆盖整个爬虫的生命周期(链接提取、页面下载、内容抽取、持久化),开发者可以便捷的使用xpath和正则表达式进行链接和内容的提取,只需编写少量代码即可完成一个定制爬虫。
|
|
|
|
|
|
|
|
|
|
* Write Less, Do more.
|
|
|
|
|
###特色###
|
|
|
|
|
|
|
|
|
|
webmagic是一个开发者的工具包,它的目标是让开发者可以通过更少的代码,实现一个高质量的爬虫。webmagic内部还集成了一些常见的垂直性爬虫的功能,例如针对页面正文的Readability技术,可以直接对页面的正文进行智能提取。
|
|
|
|
|
* ####垂直爬虫####
|
|
|
|
|
webmagic着重于页面抽取的工作。开发者可以使用xpath和正则表达式进行链接和内容的提取,支持链式API调用,以及单复数转换。
|
|
|
|
|
|
|
|
|
|
String content = page.getHtml().x("//div[@class='body']").r("这段话比较重要(.*)").toString();
|
|
|
|
|
|
|
|
|
|
* ####嵌入式&无配置####
|
|
|
|
|
webmagic与其他Full-Stack的框架不同,没有配置文件,大部分功能都通过简单的API调用完成。webmagic以jar包的形式存在,并且不依赖任何框架,在程序可以随处进行调用。
|
|
|
|
|
|
|
|
|
|
以下是爬取oschina博客的一段代码:
|
|
|
|
|
|
|
|
|
|
Spider.me().processor(new SimplePageProcessor("http://my.oschina.net/", "http://my.oschina.net/*/blog/*")).run();
|
|
|
|
|
|
|
|
|
|
* ####可扩展####
|
|
|
|
|
参考[`scrapy`](https://github.com/scrapy/scrapy)的设计,webmagic将爬虫的扩展点分为Processor、Schedular、Downloader、Pipeline三个模块,可以通过扩展这些接口实现强大的扩展功能。如可以通过多个Spider实现多线程抓取;可以通过扩展Schedular实现断点续传乃至于分布式爬虫;可以通过扩展Pipeline实现业务可定制的持久化功能。
|
|
|
|
|
|
|
|
|
|
* 简单可用
|
|
|
|
|
|
|
|
|
|
webmagic的功能覆盖整个爬虫的生命周期(链接提取、页面下载、内容抽取、持久化),是一个完整的爬虫框架。但是与其他Full-Stack的框架不同,webmagic只引入少量约定,大部分功能都通过简单的API调用完成,目的是尽量降低开发者的学习成本。webmagic以jar包的形式存在,并且不依赖任何框架,在程序可以随处进行调用。
|
|
|
|
|
|
|
|
|
|
* 灵活性
|
|
|
|
|
|
|
|
|
|
参考scrapy的设计,webmagic将爬虫的扩展点分为processor、schedular、downloader、pipeline三个模块,可以通过扩展这些接口实现强大的扩展功能。如可以通过多个Spider实现多线程抓取;可以通过扩展schedular实现断点续传乃至于分布式爬虫;可以通过扩展pipeline实现业务可定制的持久化功能。
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
------
|
|
|
|
|
|
|
|
|
@ -65,3 +68,7 @@ webmagic定制的核心是PageProcessor接口。一个最简单的webmagic爬虫
|
|
|
|
|
|
|
|
|
|
可参考作者博客[使用webmagic抓取页面并保存为wordpress文件](http://my.oschina.net/flashsword/blog/136846)
|
|
|
|
|
|
|
|
|
|
### 协议
|
|
|
|
|
|
|
|
|
|
webmagic遵循[Apache 2.0协议](http://opensource.org/licenses/Apache-2.0)
|
|
|
|
|
|
|
|
|
|