- * Page保存了上一次抓取的结果，并可定义待抓取的链接内容。
*
- * 主要方法：
- * {@link #getUrl()} 获取页面的Url
- * {@link #getHtml()} 获取页面的html内容
- * {@link #putField(String, Object)} 保存抽取的结果
- * {@link #getResultItems()} 获取抽取的结果，在 {@link us.codecraft.webmagic.pipeline.Pipeline} 中调用
- * {@link #addTargetRequests(java.util.List)} {@link #addTargetRequest(String)} 添加待抓取的链接
- *
- *
- *
- * Store extracted result and urls to be crawled.
- *
- * Main method：
- * {@link #getUrl()} get url of current page
- * {@link #getHtml()} get content of current page
- * {@link #putField(String, Object)} save extracted result
- * {@link #getResultItems()} get extract results to be used in {@link us.codecraft.webmagic.pipeline.Pipeline}
- * {@link #addTargetRequests(java.util.List)} {@link #addTargetRequest(String)} add urls to crawl
- *
- *
+ * Object storing extracted result and urls to be crawled.- * Example: - * 抓取${linktext}时，希望提取链接link，并保存linktext的信息。 - * 在上一个页面： - * public void process(Page page){ - * Request request = new Request(link,linktext); - * page.addTargetRequest(request) - * } - * 在下一个页面： - * public void process(Page page){ - * String linktext = (String)page.getRequest().getExtra()[0]; - * } - *- *
- * webmagic爬虫的入口类。
- *
- * 示例：
- * 定义一个最简单的爬虫：
- * Spider.create(new SimplePageProcessor("http://my.oschina.net/", "http://my.oschina.net/*blog/*")).run();
- *
- * 使用FilePipeline保存结果到文件:
- * Spider.create(new SimplePageProcessor("http://my.oschina.net/", "http://my.oschina.net/*blog/*"))
- * .pipeline(new FilePipeline("/data/temp/webmagic/")).run();
- *
- * 使用FileCacheQueueScheduler缓存URL，关闭爬虫后下次自动从停止的页面继续抓取:
- * Spider.create(new SimplePageProcessor("http://my.oschina.net/", "http://my.oschina.net/*blog/*"))
- * .scheduler(new FileCacheQueueScheduler("/data/temp/webmagic/cache/")).run();
- *
+ * Entrance of a crawler.