You cannot select more than 25 topics Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.

990 B

Raw Blame History Unescape Escape

WebMagic-Avalon项目手册

WebMagic-Avalon项目的目标是打造一个可配置、可管理的爬虫，以及一个可分享配置/脚本的平台，从而减少熟悉的开发者的开发量，并且让不熟悉Java技术的人也能简单的使用一个爬虫。

Part1:webmagic-scripts

目标：使得可以用简单脚本的方式编写爬虫，从而为一些常用场景提供可流通的脚本。例如：我需要抓github的仓库数据，可以这样写一个脚本(javascript)：

https://github.com/code4craft/webmagic/tree/master/webmagic-scripts

这个功能目前实现了一部分，但最终结果仍在实验阶段。欢迎大家积极参与并提出意见。

Part2:webmagic-pannel

一个集成了加载脚本、管理爬虫的后台。计划中。

Part3:webmagic-market

一个可以分享、搜索和下载脚本的站点。计划中。

如何参与

webmagic目前