添加新的spider导致的spider not found 和 compass 看不到手动创建的collections

将spider文件直接拷到服务器上,执行,提示spider not found kwq

回到本地测试,发现只有scrapy genspider kwq sxmu.edu.cn生成文件后,再按原先的爬虫文件格式修改才可以被正常执行

后在服务器上测试,发现确实如此。

本次测试,涉及到pip文件和items文件,今后所有站群文件的简单爬虫都将放到kwq中。

另外发现

在mongodb compass中生成的collections不能被查询,经终端cmd发现也不能查询到,网友说是引擎的问题,没有进一步测试,直接在程序中指定collections可以解决问题,看来以后还是不要手动创建了,否则容易产生问题。

原文地址:https://www.cnblogs.com/spidernyp/p/13430559.html