|
|
@ -4,6 +4,8 @@ webmagic
|
|
|
|
|
|
|
|
|
|
|
|
[Readme in English](https://github.com/code4craft/webmagic/tree/master/en_docs)
|
|
|
|
[Readme in English](https://github.com/code4craft/webmagic/tree/master/en_docs)
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
[用户手册](https://github.com/code4craft/webmagic/blob/master/user-manual.md)
|
|
|
|
|
|
|
|
|
|
|
|
>webmagic是一个开源的Java垂直爬虫框架,目标是简化爬虫的开发流程,让开发者专注于逻辑功能的开发。webmagic的核心非常简单,但是覆盖爬虫的整个流程,也是很好的学习爬虫开发的材料。作者曾经在前公司进行过一年的垂直爬虫的开发,webmagic就是为了解决爬虫开发的一些重复劳动而产生的框架。
|
|
|
|
>webmagic是一个开源的Java垂直爬虫框架,目标是简化爬虫的开发流程,让开发者专注于逻辑功能的开发。webmagic的核心非常简单,但是覆盖爬虫的整个流程,也是很好的学习爬虫开发的材料。作者曾经在前公司进行过一年的垂直爬虫的开发,webmagic就是为了解决爬虫开发的一些重复劳动而产生的框架。
|
|
|
|
|
|
|
|
|
|
|
|
>web爬虫是一种技术,webmagic致力于将这种技术的实现成本降低,但是出于对资源提供者的尊重,webmagic不会做反封锁的事情,包括:验证码破解、代理切换、自动登录等。
|
|
|
|
>web爬虫是一种技术,webmagic致力于将这种技术的实现成本降低,但是出于对资源提供者的尊重,webmagic不会做反封锁的事情,包括:验证码破解、代理切换、自动登录等。
|
|
|
|