Downloader-页面下载
PageProcessor-页面分析及链接抽取
Scheduler-URL管理
Pipeline-离线处理和持久化
spider.addPipeline(new ConsolePipeline()).addPipeline(new FilePipeline())
实现输出结果到控制台,并且保存到文件的目标。
spider.addPipeline(new ConsolePipeline()).addPipeline(new FilePipeline())
实现输出结果到控制台,并且保存到文件的目标。