python之采用分布式爬虫200万条百科信息,并mongo存储实例 任务要求: 1.爬虫200万条数据 2.采用临时文件方式存储临爬虫过程积累的大量但又无用的临时数据 3.采用mongo库进行数据存储,并设置用户权限 任务方案: